OpenAI 的 ChatGPT 等大型語言模型 (LLM) 的指數級增長標誌著人工智慧的重大進步，但也引發了對其大量資源消耗的嚴重擔憂。這個問題在學術實驗室或小型科技公司等資源有限的環境中尤其嚴重，這些環境很難與大型企業集團的運算資源相符。最近，一篇題為「超越效率：資源高效大型語言模型的系統調查」的研究論文詳細分析了大型語言模型 (LLM) 領域的挑戰和進展，重點關注其資源效率。目前的問題像 GPT-3 這樣的法學碩士擁有數十億個參數，重新定義了人工智慧能力，但其規模卻轉化為對運算、記憶體、能源和財務投資的巨大需求。隨著這些模型規模的擴大，挑戰也隨之加劇，形成資源密集型格局，有可能限制只有資金最充足的機構才能使用先進的人工智慧技術。定義資源高效率的法學碩士法學碩士的資源效率是指以最少的資源支出達到最高的績效。這個概念超越了單純的運算效率，涵蓋了記憶體、能源、財務和通訊成本。目標是開發高效能且可持續的法學碩士，可供更廣泛的用戶和應用程式使用。挑戰與解決方案調查將挑戰分為特定模型、理論、系統和道德考慮因素。它強調了諸如自回歸生成中的低並行性、自註意力層中的二次複雜性、縮放法則以及有關人工智慧進步的透明度和民主化的倫理問題等問題。為了解決這些問題，調查提出了一系列技術，從高效的系統設計到平衡資源投資和效能增益的最佳化策略。研究工作和差距大量研究致力於開發資源高效的法學碩士，提出各領域的新策略。然而，缺乏系統性的標準化和全面的總結框架來評估這些方法。調查發現，對於需要有關當前限制、陷阱、未解決的問題和未來研究有希望的方向的清晰資訊的從業者來說，缺乏連貫的總結和分類是一個重大問題。調查貢獻這項調查首次對法學碩士的資源效率進行了詳細的探索。其主要貢獻包括：全面概述資源高效的法學碩士技術，涵蓋整個法學碩士生命週期。依資源類型對技術進行系統分類和分類，簡化選擇適當方法的過程。為評估法學碩士的資源效率而量身定制的評估指標和數據集的標準化，促進一致和公平的比較。確定差距和未來的研究方向，揭示未來創建資源節約型法學碩士的潛在途徑。結論隨著法學碩士的不斷發展和複雜性的增加，調查強調了開發不僅技術先進而且資源高效且易於使用的模型的重要性。這種方法對於確保人工智慧技術的可持續發展及其在各個領域的民主化至關重要。