2024年12月20日，神州數(shù)碼旗下神州問學產(chǎn)品在arXiv上發(fā)布了一篇名為《Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline》的論文。該研究專注于構(gòu)建一個適應性強且精準的企業(yè)場景大型語言模型（LLM）功能調(diào)用能力訓練流程，能夠更好地驅(qū)動AI智能體應用。隨著企業(yè)對人工智能解決方案的需求日益復雜化和具體化，這一訓練流程旨在提升大模型在特定業(yè)務環(huán)境下的響應能力和操作效率，通過定制化的訓練讓模型能夠更好地理解和執(zhí)行企業(yè)級的任務指令。這篇論文代表了神州問學在推動AI技術(shù)更貼近實際應用、為企業(yè)提供更具針對性的智能服務方面所作出的努力。

論文作者：曾冠程、丁文韜、徐貝凝、張弛、韓文強、李剛、莫晶晶、邱鵬旭、陶心然、汪濤、胡浩文（通訊）

在當今數(shù)字化的企業(yè)中，各種API接口組成了業(yè)務的核心，如何高效利用這些資產(chǎn)以提高操作效率是企業(yè)面臨的主要挑戰(zhàn)。通用的LLM（大語言模型）雖在一般功能調(diào)用任務中表現(xiàn)不俗，但在精細化企業(yè)場景下，頻發(fā)的計算資源瓶頸和功能調(diào)用精度問題仍待解決?；诖耍裰輪枌W提出需要一種高效的訓練流水線，專為企業(yè)制定，以滿足其特定需求。

場景數(shù)據(jù)合成與增強

在生成式AI時代，AI智能體通過調(diào)用函數(shù)工具（如API、算法、代碼流程等）來實現(xiàn)復雜任務的分解與執(zhí)行，并與企業(yè)系統(tǒng)整合以提升運營效率。然而，對于專業(yè)場景，開源或商用的大模型由于特定場景的訓練數(shù)據(jù)的局限性，在提供準確、穩(wěn)定的函數(shù)調(diào)用指令方面存在明顯不足，主要體現(xiàn)在函數(shù)解析、選用、參數(shù)填寫及使用場景識別上的錯誤。這不僅影響了任務執(zhí)行的準確性，還導致了資源浪費和響應速度減慢等問題，為了解決這些問題，需要針對專業(yè)場景進行特定的數(shù)據(jù)合成?；谏倭康恼鎸嵎N子數(shù)據(jù)自動化生成高質(zhì)量、多樣化的訓練集，從而讓模型獲得適應特定業(yè)務環(huán)境的能力。這種方法不僅能克服數(shù)據(jù)稀缺的問題，還能顯著改善模型的專業(yè)場景適用性和經(jīng)濟效益。 

在數(shù)據(jù)合成與增強階段，神州問學使用14個工作流集合生成了一套完整的訓練數(shù)據(jù)。這些數(shù)據(jù)包括1260個全自動生成的樣本和1035個人工標注增強樣本，確保了模型能夠在實際業(yè)務中精準調(diào)用對應工具，提取正確的參數(shù)。數(shù)據(jù)的多樣性和量度大幅提升了模型的泛化能力，使其能更好地適應不同的業(yè)務需求。

圖2：14種數(shù)字人力資源場景工具的數(shù)據(jù)量和分布

LoRA微調(diào)：資源優(yōu)化的解決方案

在模型微調(diào)階段，神州問學選擇了Qwen2.5-Coder-7B-Instruct模型作為基礎模型，并通過LoRA方法在四個24GB VRAM的GPU上進行微調(diào)。LoRA（Low-Rank Adaptation）方法不僅減少了參數(shù)過多的問題，還顯著降低了計算資源的消耗，使得中小型企業(yè)也能輕松負擔模型訓練所需的資源。這種方法在約五小時的訓練后，微調(diào)模型在評估中表現(xiàn)優(yōu)異，結(jié)構(gòu)完整性、工具選擇準確性和參數(shù)輸入準確性均超過了GPT-4o。

表1：不同基礎模型對訓練性能的影響

量化模型性能：精準評估工具選擇與調(diào)用

在評估模型性能時，神州問學采用了基于AST的方法，對模型生成的函數(shù)調(diào)用指令進行逐步解析。這一方法不僅有效評估了模型的結(jié)構(gòu)完整性、工具選擇準確性和參數(shù)輸入準確性，還通過混淆矩陣分析，進一步優(yōu)化了工具功能描述，提高了模型的整體表現(xiàn)。此外，評估方法還具備多方面優(yōu)勢，包括無需實際執(zhí)行調(diào)用指令、高效驗證輸出結(jié)果等，這些都確保了評估過程的全面和高效。

展望未來：多領域的應用潛力

神州問學的這一創(chuàng)新解決方案，不僅在DHR場景中取得了顯著成效，還展示了其在其他專業(yè)領域的廣泛應用潛力。無論是集成邊緣設備中的邊緣模型支持診斷系統(tǒng)，還是為組織內(nèi)的超級員工提供動力，這一解決方案都具備廣闊的應用前景。未來，通過引入數(shù)據(jù)反饋模塊，系統(tǒng)將能夠結(jié)合用戶與代理應用的交互數(shù)據(jù)，自動進行數(shù)據(jù)標注并持續(xù)迭代優(yōu)化模型，進一步增強企業(yè)的智能化水平。

神州問學通過其功能調(diào)用能力訓練流水線，不僅解決了企業(yè)智能化轉(zhuǎn)型中的實際難題，還為企業(yè)提供了經(jīng)濟高效的模型訓練方法。這一創(chuàng)新解決方案的成功應用，必將推動更多企業(yè)實現(xiàn)智能化、高效化的業(yè)務運作，開啟企業(yè)智能化發(fā)展的新路徑。