令人興奮的人工智慧效率:混合較小的模型超越大型模型

近年來,對話式 AI 領域受到 ChatGPT 等模型的顯著影響,其特點是廣泛的參數大小。然而,這種方法對計算資源和記憶體有大量要求。現在的一項研究引入了一個新概念:混合多個較小的人工智慧模型以達到或

近年來,對話式 AI 領域受到 ChatGPT 等模型的顯著影響,其特點是廣泛的參數大小。然而,這種方法對計算資源和記憶體有大量要求。現在的一項研究引入了一個新概念:混合多個較小的人工智慧模型以達到或超越較大模型的性能。這種方法被稱為“混合”,整合了多個聊天人工智慧,為大型模型的計算挑戰提供了有效的解決方案。

這項研究在 Chai 研究平台上針對大量用戶進行了三十多天,展示了混合特定的較小模型可能會超越或匹配較大模型(例如ChatGPT)的功能。例如,僅整合具有 6B/13B 參數的三個模型就可以與具有 175B+ 參數的 ChatGPT 等更大模型的性能指標相媲美甚至超越。

各種應用(尤其是聊天AI)越來越依賴預訓練的大型語言模型(LLM ) ,導致了具有大量參數的模型的開發激增。然而,這些大型模型需要專門的基礎設施,並且具有顯著的推理開銷,限制了它們的可訪問性。另一方面,混合方法提供了更有效的替代方案,且不會影響對話品質。

混合人工智慧的有效性體現在其用戶參與度和保留率。在 CHAI 平台上的大規模 A/B 測試中,由三個 6-13B 參數 LLM 組成的混合整合擊敗了 OpenAI 的 175B+ 參數 ChatGPT,顯著提高了用戶保留率和參與度。這表明用戶發現混合聊天人工智慧更具吸引力、娛樂性和實用性,同時只需要較大模型的推理成本和記憶體開銷的一小部分。

該研究的方法涉及基於貝葉斯統計原理的集成,其中特定響應的概率被概念化為對所有可能的聊天人工智慧參數的邊際期望。 Blended 隨機選擇產生當前回應的聊天 AI,允許不同的聊天 AI 隱式影響輸出。這導致了個人聊天人工智慧優勢的融合,從而產生更有吸引力和多樣化的回應。

2024 年人工智慧和機器學習趨勢的突破強調了向更加實用、高效和可自訂的方向發展人工智慧模型。隨著人工智慧越來越融入業務運營,對滿足特定需求、提供更好的隱私和安全性的模型的需求不斷增長。這種轉變符合混合方法的核心原則,強調效率、成本效益和適應性。

總而言之,混合方法代表了人工智慧開發的重大進步。透過組合多個較小的模型,它提供了一種高效、經濟高效的解決方案,與較大、資源密集型的模型相比,該解決方案可以保留並在某些情況下增強用戶參與度和保留率。這種方法不僅解決了大規模人工智慧的實際局限性,而且為人工智慧在各個領域的應用開闢了新的可能性。

收藏我們

搜索