當(dāng)?shù)貢r間9月2日，新模型陷席科學(xué)OpenAI首席科學(xué)家雅庫布?帕喬基（Jakub Pachocki）在社交平臺發(fā)文，入失就近日圍繞新模型Astra“不可監(jiān)控”的控爭爭議作出回應(yīng)。

　　這場爭議源於此前一天，議首有消息稱OpenAI即將發(fā)布的新模型陷席科學(xué)Astra模型采用了一種名為循環(huán)深度（Recurrent Depth）的推理技術(shù)。該模式下，入失同一組Transformer層被反複計算，控爭部分推理過程發(fā)生在模型內(nèi)部，議首不必全部以思維鏈形式呈現(xiàn)，新模型陷席科學(xué)因此也被稱為“不透明循環(huán)”。入失

　　帕喬基表示，希望避免因信息失實引發(fā)一場衝向不可監(jiān)控狀態(tài)的議首軍備競賽——即各大實驗室競相開發(fā)能力過強、人類難以監(jiān)控、新模型陷席科學(xué)無法審查的入失模型，導(dǎo)致安全管控徹底失效。控爭

　　他強調(diào)，包括Astra在內(nèi)的前沿模型，計算圖深度與GPT-4相差不超過兩倍，說明模型架構(gòu)並未如外界擔(dān)憂的那樣出現(xiàn)跳躍式的複雜度增長。

　　此處的計算圖深度是指模型完成一次推理任務(wù)必須依次執(zhí)行、無法並行加速的最長計算步驟鏈條。過去普通Transformer架構(gòu)下的層內(nèi)計算可以大規(guī)模並行，串行的深度約等於模型層數(shù)。

　　而市場傳言的循環(huán)深度可以把同一套模塊反複循環(huán)迭代多輪做思考，在輸出下一個token（詞元）前增加內(nèi)部推理深度，而非僅依賴更長的可見文本思維鏈，可以提升數(shù)學(xué)、編碼等性能並降低成本。

　　該架構(gòu)隱含的安全風(fēng)險在於，當(dāng)計算圖深度拉得極高，模型可以在內(nèi)部隱式完成海量推理步驟，不必在輸出裏吐出完整思維鏈，人類就看不到它中間思考、謀劃、找漏洞的過程，進而進入不可監(jiān)控狀態(tài)，安全審計與思維鏈監(jiān)控全部失效。

　　相關(guān)消息披露後，AI安全界反應(yīng)強烈。非營利AI安全組織Redwood Research首席執(zhí)行官巴克?施萊格裏斯（Buck Shlegeris）發(fā)文稱“極度擔(dān)憂”。他結(jié)合此前OpenAI模型攻擊Hugging Face社區(qū)事件表示，不確定Astra思維鏈可監(jiān)測性是否比之前的模型差很多，但如果進一步推進這項技術(shù)，大幅增加循環(huán)次數(shù)，將徹底破壞思維鏈的可監(jiān)測性。這一點尤其令人擔(dān)憂，因為如果調(diào)查人員無法查看思維鏈，相關(guān)安全事件調(diào)查將會更加困難，這著實令人恐懼。

　　曾參與調(diào)查Hugging Face安全事件的Redwood Research首席科學(xué)家瑞安?格林布拉特（Ryan Greenblatt）也表示，這可能是迄今為止AI安全最嚴重的一次倒退。長期關(guān)注AI安全的作家茲維?莫肖維茨（Zvi Mowshowitz）則批評這一技術(shù)是“玩火”，甚至表示需要法律來阻止AI實驗室之間競相降低標準的競賽。

　　帕喬基在回應(yīng)中承認，思維鏈監(jiān)控確實脆弱，且正朝著更困難的方向發(fā)展，但並非由架構(gòu)變更導(dǎo)致。OpenAI自首批推理模型一直致力於維護和利用思維鏈監(jiān)控，並認為該技術(shù)有助於觀察模型對齊能力如何從訓(xùn)練分布中泛化。加強思維鏈監(jiān)控仍是當(dāng)前研究項目的核心目標。

　　OpenAI方麵表示，將為Astra部署額外的思維鏈監(jiān)控，以快速監(jiān)測並遏製潛在的不當(dāng)行為。另據(jù)市場消息，Astra對循環(huán)深度技術(shù)的使用有限度，模型思維鏈仍有望保持可讀性。行業(yè)內(nèi)Anthropic和Google DeepMind等平臺已在討論類似技術(shù)。