5 月 9 日消息，阿里巴巴集團(tuán)研究人員取得重大突破，開(kāi)發(fā)出名為 “零搜索”（ZeroSearch）的創(chuàng)新技術(shù)，為人工智能信息檢索訓(xùn)練帶來(lái)了革命性的改變。這一技術(shù)通過(guò)模擬訓(xùn)練方式，賦予大語(yǔ)言模型（LLM）高級(jí)搜索能力，全程無(wú)需調(diào)用真實(shí)搜索引擎，將訓(xùn)練成本大幅降低 88%，有望徹底改變 AI 訓(xùn)練對(duì)昂貴商業(yè)搜索引擎 API 的依賴現(xiàn)狀。

長(zhǎng)期以來(lái)，開(kāi)發(fā)具備自主信息檢索能力的人工智能助手面臨兩大棘手難題。一方面，訓(xùn)練過(guò)程中搜索引擎返回文檔質(zhì)量不穩(wěn)定，參差不齊的內(nèi)容為模型學(xué)習(xí)帶來(lái)干擾；另一方面，頻繁調(diào)用谷歌等商業(yè)搜索引擎 API 的開(kāi)銷巨大。以處理約 6.4 萬(wàn)次查詢?yōu)槔?，使?SerpAPI 調(diào)用谷歌搜索成本約 586.70 美元，而運(yùn)行 14B 參數(shù)的模擬 LLM 僅需 70.80 美元。如此高昂的費(fèi)用，嚴(yán)重制約了人工智能技術(shù)的發(fā)展與普及，尤其給預(yù)算有限的小型企業(yè)和初創(chuàng)公司帶來(lái)巨大壓力。

為攻克這些難題，阿里巴巴另辟蹊徑?！傲闼阉鳌?技術(shù)首先從輕量級(jí)的監(jiān)督微調(diào)入手，將 LLM 轉(zhuǎn)化為檢索模塊，使其能依據(jù)查詢生成相關(guān)和不相關(guān)文檔。研究人員發(fā)現(xiàn)，LLM 在大規(guī)模預(yù)訓(xùn)練中積累了海量世界知識(shí)，具備生成高相關(guān)性文檔的潛力。在強(qiáng)化學(xué)習(xí)訓(xùn)練階段，他們采用 curriculum - based rollout strategy 方法，逐步降低生成文檔質(zhì)量，鍛煉模型辨別信息的能力。這種創(chuàng)新方式不僅模擬出類似真實(shí)搜索的學(xué)習(xí)環(huán)境，還讓開(kāi)發(fā)者能精準(zhǔn)把控訓(xùn)練數(shù)據(jù)，根據(jù)模型學(xué)習(xí)進(jìn)度靈活調(diào)整，提升訓(xùn)練效果。

經(jīng)過(guò)在七個(gè)問(wèn)答數(shù)據(jù)集的全面測(cè)試，“零搜索” 技術(shù)訓(xùn)練出的模型表現(xiàn)驚艷。7B 參數(shù)的檢索模塊性能達(dá)到谷歌搜索水平，14B 參數(shù)模型更是在多個(gè)指標(biāo)上實(shí)現(xiàn)超越。這一成果充分證明，在強(qiáng)化學(xué)習(xí)中，用訓(xùn)練有素的 LLM 取代真實(shí)搜索引擎切實(shí)可行。

“零搜索” 技術(shù)的意義深遠(yuǎn)，標(biāo)志著人工智能系統(tǒng)訓(xùn)練方法的重大轉(zhuǎn)型。它讓 AI 擺脫對(duì)外部搜索服務(wù)的依賴，通過(guò)自我模擬實(shí)現(xiàn)信息檢索能力的提升。對(duì)于 AI 行業(yè)而言，打破了大型科技公司掌控商業(yè)搜索 API 導(dǎo)致的高成本壁壘，為更多企業(yè)參與先進(jìn)人工智能領(lǐng)域開(kāi)發(fā)創(chuàng)造了條件。小型人工智能公司和初創(chuàng)企業(yè)將從中受益，以更低成本開(kāi)發(fā)復(fù)雜智能助手，推動(dòng)行業(yè)創(chuàng)新活力的釋放。

目前，“零搜索” 技術(shù)已在 Qwen - 2.5 和 LLaMA - 3.2 等多種模型家族中得到驗(yàn)證，支持基礎(chǔ)版本與指令調(diào)優(yōu)版本。阿里巴巴研究團(tuán)隊(duì)已將相關(guān)代碼、數(shù)據(jù)集和預(yù)訓(xùn)練模型開(kāi)源發(fā)布于 GitHub 和 Hugging Face，方便業(yè)內(nèi)研究人員和企業(yè)使用與測(cè)試，加速技術(shù)的推廣與應(yīng)用。隨著大語(yǔ)言模型的持續(xù)進(jìn)化，類似 “零搜索” 的技術(shù)將引領(lǐng)人工智能系統(tǒng)走向更多依靠自我模擬發(fā)展復(fù)雜能力的道路，重塑人工智能開(kāi)發(fā)的經(jīng)濟(jì)模式，降低行業(yè)對(duì)大型平臺(tái)的依賴，推動(dòng)整個(gè)技術(shù)生態(tài)在未來(lái)幾年迎來(lái)顛覆性變革。

更多資訊請(qǐng)點(diǎn)擊查看【AI新趨勢(shì)】