最近發表的論文“ChatQA：構建 GPT-4 級別對話 QA 模型”提出了全面的探索開發稱為ChatQA 的新型會話問答(QA) 模型系列。該論文由NVIDIA 的Zihan Liu、Wei Ping、Rajarshi Roy、Peng Xu、Mohammad Shoeybi 和Bryan Catanzaro 撰寫，深入探討了在對話QA 任務中構建與GPT-4 性能相匹配的模型的複雜性，這是一項重大挑戰。研究界。
主要創新與發現
兩階段指令調優方法：ChatQA成功的基石在於其獨特的兩階段指令調優方法。此方法大大增強了大型語言模型 (LLM) 的零樣本會話 QA 能力，優於常規指令調整和基於 RLHF 的配方。這個過程涉及將使用者提供或檢索的上下文整合到模型的回應中，展示了對話理解和上下文整合方面的顯著進步。
增強會話 QA 中的 RAG 檢索：ChatQA 透過微調狀態解決會話 QA 中的檢索挑戰針對人工註釋的多輪QA 資料集的最先進的單輪查詢檢索器。此方法產生的結果與最先進的基於 LLM 的查詢重寫模型（如 GPT-3.5-turbo）相當，但部署成本顯著降低。這項發現對於實際應用至關重要，因為它提出了一種在不影響性能的情況下開發對話式 QA 系統的更具成本效益的方法。
廣泛的型號：ChatQA 系列由各種型號組成，包括 Llama2-7B、Llama2-13B 、 Llama2-70B 和內部8B 預訓練GPT 模型。這些模型已在 10 個會話 QA 資料集上進行了測試，證明 ChatQA-70B 不僅優於 GPT-3.5-turbo，而且與 GPT-4 的表現相當。這種模型大小和功能的多樣性強調了ChatQA 模型在不同對話場景中的可擴展性和適應性。
處理「無法回答」的場景：ChatQA 的一個顯著成就是它能夠熟練地處理“無法回答」的問題，所提供或檢索到的上下文中不存在所需答案的情況。透過在指令調校過程中納入少量「無法回答」的樣本，ChatQA 顯著減少了幻覺和錯誤的發生，確保在複雜的對話場景中做出更可靠、更準確的回應。
影響與未來前景：
ChatQA 的發展標誌著對話式 AI 領域的一個重要里程碑。它的性能與 GPT-4 相當，再加上更有效率、更具成本效益的模型訓練和部署方法，使其成為會話 QA 領域的強大工具。 ChatQA 的成功為對話式人工智慧的未來研究和開發鋪平了道路，有可能帶來更細緻和上下文感知的對話代理。此外，這些模型在客戶服務、學術研究、互動平台等現實場景中的應用，可以顯著提高資訊檢索和使用者互動的效率和效果。
總而言之，ChatQA 論文中提出的研究反映了會話 QA 領域的重大進步，為人工智慧驅動的對話系統領域的未來創新提供藍圖。