能力下沉一個檔位:Sonnet 5 幫我驗證了 harness 該留什麼

之前我寫過一篇〈哪一層 harness 撐得過模型換代〉,核心賭注是:模型會不斷把外圈的腳手架吃進去,所以 harness 要押在模型吃不掉的那幾層。那時它是推論。Sonnet 5 發布後,它變成可以核對的實證——我把幾個訊號整理出來,順便更新自己的操作判準。

訊號一:旗艦能力半價下放,而且速度在加快

Sonnet 5 用不到旗艦一半的價格,拿到旗艦八九成的效果:agentic 編碼已經逼近 Opus 4.8,知識工作的評測甚至小幅反超。幾個月前只有最貴的模型做得到的事,現在中端就吃得下。

這改寫選型的第一個問題。不是「要好就用旗艦」,而是先問這個檔位現在能吃下多少——常規開發、知識處理、中複雜度的 agent 任務,中端的性價比多半已經是第一梯隊。

訊號二:成本-能力變成一條可滑的曲線,不是幾個價位點

更有意思的是 effort 檔位:同一個模型,高 effort 逼近旗艦、中 effort 更省。過去「貴模型規劃、便宜模型執行」的雙模型路由,現在受到收斂壓力——如果一個模型能靠 effort 檔把「想清楚」和「照著做」都涵蓋,路由的維度就從「換模型」變成「調檔位」,harness 少一道換模型的接縫。

判準跟著升級:先問這一段值得多少 effort,再問該用哪個模型。

順帶一個帳面上的坑:新版換了 tokenizer,同一段文字可能算出更多 token。跨版本比成本,要用「每單位工作」算,不能只看每 token 的標價——降價有一部分會被分母變大吃回去。

訊號三:自我驗證沉進了權重——但這不推翻獨立驗證

Sonnet 5 宣稱不用被明確要求就會自我檢查。過去這要靠 harness 或 prompt 去逼,現在部分沉進了模型本身。這正是「模型吃腳手架」最直接的一個 datapoint:原本外圈補的能力,往內移了一格。

但我不會因此拆掉驗證那道 gate。模型自檢跟 harness 要的驗證是兩回事:模型對錯誤也一樣自信,做事的 agent 自評永遠有謊報成功的空間。內建自檢降低的是初階錯誤率,它取代不了「把限制寫進 code、客觀可驗證的 gate」。所以我的更新是——把模型自我驗證當更好的第一道,不當最後一道。外圈驗證的問題從「有沒有檢查」升級成「檢查夠不夠獨立」。

例外:檔位差距沒有消失,它集中到少數維度

多數基準逼近,不代表檔位沒有差。網路安全是差距最明顯的一維:漏洞利用這類高風險能力,中端和旗艦差了一個數量級,官方也明講專業場景仍推薦旗艦。能力下沉是總趨勢,但它不均勻——高風險的那一小塊,留給最強的模型;其餘大宗,交給滑得動的中端。

小結:下沉的速度,就是 harness 瘦身的速度

每一次能力下沉,都在替我做減法:靠 prompt 逼出來的行為、為特定模型調的參數、雙模型路由的接縫,這些遲早被吃掉,丟了不可惜。留下來的還是那幾樣——獨立於模型的驗證 gate、自己版控裡的領域知識、還有「哪些任務值得多少 effort」的判斷。模型每強一次,這幾樣的相對價值就高一次。