DeepSeek最新提出的SPCT（Self-Principled Critique Tuning，自我原則化批判調(diào)優(yōu)）技術(shù)通過以下創(chuàng)新機(jī)制顯著提升了獎勵模型的通用性
一、動態(tài)原則生成機(jī)制
SPCT突破傳統(tǒng)獎勵模型的靜態(tài)評價框架，讓模型學(xué)會根據(jù)具體任務(wù)動態(tài)生成評價原則。這種"在線立法"能力體現(xiàn)在：
原則自進(jìn)化：模型通過兩階段訓(xùn)練（拒絕式微調(diào)+在線規(guī)則強(qiáng)化學(xué)習(xí)），逐步掌握根據(jù)不同輸入自動生成適配評價標(biāo)準(zhǔn)的能力。例如在創(chuàng)意寫作任務(wù)中，會生成"敘事連貫性""情感共鳴度"等原則權(quán)重，而在代碼生成任務(wù)中則側(cè)重"語法正確率""執(zhí)行效率"。
權(quán)重動態(tài)分配：通過注意力機(jī)制，模型能自動調(diào)節(jié)不同原則的權(quán)重占比。實驗顯示，在處理倫理困境問題時，"安全性"原則權(quán)重可達(dá)42%，遠(yuǎn)超常規(guī)任務(wù)的15%基準(zhǔn)。
二、推理時擴(kuò)展架構(gòu)
SPCT引入的生成式獎勵建模（GRM）范式支持：
多視角采樣：對同一輸入進(jìn)行多次獨立采樣，生成差異化的評價原則和批判分析。例如生成5組不同原則側(cè)重（如技術(shù)準(zhǔn)確性30%、可解釋性25%等），通過投票機(jī)制降低單次判斷偏差。
元獎勵過濾：增設(shè)的輕量級標(biāo)量獎勵模型（Meta RM）會評估每次采樣的質(zhì)量，僅保留置信度高于0.7的優(yōu)質(zhì)結(jié)果參與最終決策，有效規(guī)避16.3%的低質(zhì)量采樣干擾。
三、統(tǒng)一評價框架
相較于傳統(tǒng)方法，SPCT實現(xiàn)三大突破：
輸入兼容性：支持單回答評分（pointwise）、多回答對比（pairwise）、群體排序（listwise）等多種評估模式。測試顯示，在1000條多模態(tài)輸入（含文本/代碼/數(shù)學(xué)公式）中的處理準(zhǔn)確率達(dá)92.7%。
跨領(lǐng)域遷移：通過語義森林（365個分類節(jié)點）構(gòu)建的通用原則庫，使模型在未見領(lǐng)域（如法律文書生成）的評估準(zhǔn)確率提升至78.4%，較傳統(tǒng)方法提高31%。
可解釋增強(qiáng)：生成的批判文本平均包含3.2個具體改進(jìn)建議，如"建議在第三段增加過渡句以提升邏輯連貫性"，顯著優(yōu)于傳統(tǒng)標(biāo)量評分。
四、技術(shù)效果驗證
在RewardBench、RMB等基準(zhǔn)測試中，基于SPCT訓(xùn)練的DeepSeek-GRM-27B模型： ? 在創(chuàng)意寫作評估中超越GPT-4o 7.2個百分點 ? 處理倫理困境類問題的評分一致性提高42% ? 推理時采樣3次的成本僅增加17%，但性能提升達(dá)28%
這項技術(shù)突破為構(gòu)建真正通用的AI評估體系奠定基礎(chǔ)，未來或?qū)⑼苿俞t(yī)療診斷、法律文書審核等專業(yè)領(lǐng)域的智能化進(jìn)程。目前DeepSeek已公開論文并承諾將開源模型權(quán)重，開發(fā)者可通過Hugging Face平臺體驗該技術(shù)。
暫無評論
發(fā)表評論