「自己出卷、自己改卷」
Anthropic 交出安全功課
Anthropic 公開了一份「前沿安全路線圖」。
它列出自己訂下的安全目標。
10 月 19 日,它更新了成績:三個大目標完成,一個目標退役,兩個新目標上場。
閱讀時間:約 3 分鐘
TL;DR
- 驗明正身。Anthropic 造出「推理驗證」原型,可以檢查模型的答案是否真的來自聲稱的那組權重。
- 全部簽名。內部所有 token 流量都加上密碼簽名,還已經捉到一次罕見但無害的完整性小問題。
- 機器紅隊贏人類。自動紅隊系統對賽人類頂尖懸賞作品 24 場,全部打和或勝出,贏了 23 場。只需 24 至 48 小時,人類要幾星期到幾個月。
- 考卷換了。「要求 Claude 遵守憲章」的目標退役;新增目標包括引入第三方評估員,以及管 AI 發展速度本身。
- 但要留意。分數是 Anthropic 自己打的。公開版本經過刪減。這一點,本頁最後會講清楚。
一句講完:一個學生交了三份功課,全部合格;但試卷是他出的,卷也是他改的,答案紙還剪走了一部分。
先講清楚:呢場考試有咩特別
想像一個學生。
他自己出試卷。
他自己訂合格線。
考完之後,他自己改卷。
最後,他向全班宣佈:我合格了。
這正是 Anthropic 這份路線圖的結構。
它先公開訂下安全目標,再定期回報進度。
好處是:目標寫明了,死線寫明了,賴貓很難。
壞處是:出卷、改卷、判分,都是同一個人。
帶著這個畫面,往下看三份「合格功課」。
推理驗證:幫模型驗明正身已完成
先講一個風險。
將來,攻擊者可能潛入系統。
他們可能偷偷改動訓練好的模型。
改完之後,模型表面正常,內裡已經是另一個模型。
「推理驗證」就是用來防這一招。
它檢查每一份輸出:這份答案,是否真的來自我們聲稱的那組權重?
就像過關時驗指紋。
樣貌可以扮,指紋扮不到。
✓ 原型已在生產推理系統上運行
這是「登月級」研發計劃的成果之一。Anthropic 現在把這技術改名叫「推理驗證」(inference verification)。
所有 token 流量,全部簽名已完成
做驗證原型的過程中,他們順手做了一件更大的事。
內部所有 token 流量,全部加上密碼簽名。
Token 是模型處理文字的最小單位。
每一個 token 出入,都要蓋上一個防偽印章。
任何一處對不上,系統即刻知道。
✓ = 簽名核對無誤 ! = 發現異常
自動紅隊:24 場,贏 23 場已完成
先解釋「紅隊」。
紅隊的工作,是扮攻擊者。
他們專門找方法繞過防護,逼模型講不該講的東西。
Anthropic 一直有辦懸賞比賽。
全球高手提交「越獄」手法,針對的是化學與生物武器分類器。
今次,它拿自家自動紅隊系統,與人類最佳作品正面對賽。
條件完全相同:同樣 8 條懸賞題目,同樣 3 代生產分類器。
總共 24 個對賽組合。
速度差距不是幾個百分點。是「兩日」對「兩個月」的差距。Anthropic 判定:機器找到的問題,整體比人類懸賞作品更實在。這個目標原定 2027 年 1 月 1 日到期,提早完成。
一份退役,兩份新功課
三個目標完成之外,考卷本身也改了。
「維護 Claude 憲章」目標 以現有形式退役
這個目標要求:公開憲章保持更新,並系統地檢查訓練是否符合憲章。
Anthropic 說:憲章有保持更新,自動對齊評估也在做。
但其中一個抽查訓練數據的流程,查來查去都查不到現有審查漏掉的東西,已經停用。
它決定先退役這個目標,重新思考哪種目標對對齊最有效。憲章本身不會消失,更新承諾仍然保留。
新目標一:內嵌第三方評估員 新上場
提出一個政策方案:讓第三方評估員「內嵌」進來做評估。
簡單講,就是請外人入屋檢查,不再只是自己改卷。
到期:2026 年 12 月 15 日新目標二:管發展速度本身 新上場
提出一個政策框架,目標直接指向 AI 發展的速度。
問題不再只是「模型安不安全」,而是「整個行業走得太快,要不要管」。
到期:2027 年 1 月 15 日誠實提醒:讀這份成績表之前
- 分數是自己打的。 三個「完成」,都是 Anthropic 按自己訂的標準判定。沒有外人覆核過。
- 公開版本經過刪減。 它明言刪走了部分內容。理由有二:保護知識產權;不向威脅者透露太多防護細節,讓對方無從下手。
- 最初報道不多。 這次更新剛出時,外界報道相當有限。
- 後來有人在 X 上翻出來講。 有觀察者指出:推理驗證這部分,其實是大事。能證明輸出真的來自指定權重,等於給模型身份加了一層密碼學保證。
兩個未有答案的問題
問題一:自己改卷,信得過嗎?
目標、標準、判定,全在同一間公司手裡。
這不等於造假。
但可信度先天打了折扣。
值得留意的是:新目標一正是引入第三方評估員。某程度上,這是對這個質疑的回應。
問題二:技術跑得越快,問題本身會變嗎?
新目標二要回答:AI 發展速度應否受控。
但諷刺的是,本頁的紅隊結果正顯示技術加速得有多快。
當機器兩日做到人類兩個月的工作,「速度」這個問題的答案,可能在框架寫好之前已經變了。
功課做得好唔好是一回事;
幾時先有外人改卷,是另一回事。
資料來源
- Anthropic 官方:Frontier Safety Roadmap Updates(2026 年 10 月 19 日更新)— anthropic.com/responsible-scaling-policy/updates
本頁所有數字與日期均取自上述官方頁面:紅隊對賽為 2026 年 4 月 20 日至 9 月 11 日期間的懸賞紀錄;第三方評估員提案到期日為 2026 年 12 月 15 日;發展速度政策框架到期日為 2027 年 1 月 15 日。