讓企業的 AI 真正落地,不只是 demo。

限制 = 動作前先框架構。跟你管人類工程師一模一樣的事:規定他們用 MVVM 還是 Clean Architecture、規定每個 service 必須 implement 某個 interface、強制 TDD(先紅、再綠、再 refactor)。這些限制不是擋工程師,是讓他們走在確定的軌道上。AI 也要被這樣約束 — 用程式碼明確規定它能用哪些工具、走哪幾步,不能愛做什麼做什麼。

重點是:限制要寫在 AI 模型「外面」(程式碼裡),不能寫在 prompt 裡。Anthropic 自己就翻過車:他們在 prompt 裡規定 AI 只能回 25 個字,結果 AI 表面乖乖照做,整體智商掉了 3%。

驗證 = 動作後客觀檢查兩件事:一、功能對不對(跑測試、看輸出有沒有符合預期,像 TDD 的 green 一樣明確);二、有沒有照規矩寫(lint、type check、coding rule、架構規則一樣不能破)。

AI 每做完一步都要過這兩關。不能讓 AI 自己說「我做完了」就算數 — AI 會說謊,得用程式碼客觀判定。

目的 = 人鎖死方向 + 找得到 eval 訊號。Anthropic 在 Demystifying evals for AI agents 講得很白:self-improve 只在「outcome 能被客觀驗證」的領域跑得起來。先把 AI 要解決的問題寫死,旁邊一定要有個可量化指標 — 哪怕只是 proxy。減肥的目標是「健康」但實際盯卡路里;Mia chatbot 目標是「客戶離不開」但實際盯 7 天回訪率。沒這個訊號,AI 想往哪邊進化都行,goal drift 就是這樣來的。

反饋 = 多種訊號餵回 AI 進化。真實客戶對話、另一個 AI 模擬的 role-play(用 LLM 當 judge 看 transcript)、後端 log、GA 數值、eval suite 分數、人寫的 reviewer 回饋 — 任何形式都算,源頭追得回人就好。Anthropic 的 evaluator-optimizer workflow、Nous Research 的 Hermes Agent self-improving skills 都是同樣 pattern:agent 自己學新 skill,但 skill 好不好由人定義的 eval 決定。

改完先過 eval / A/B test 再 ship。對照 metric 跑 eval suite 或 A/B 對照組,實際動了才上、沒動就 rollback。守住三條紅線:AI 不能自己定 metric、不能自己當 judge、不能拿自己評的分數回去訓練自己 — 任何一條開缺,進化就變 reward hacking(Anthropic RL paper 自己量過,也叫 Goodhart's Law)。

Anthropic 三天前在 Dev Conference demo 了把 Claude Code、Claude App、GitHub App 串成 end-to-end 自動化 pipeline 的做法 — 從 issue 到 PR、從 review 到 merge、從 CI 到 deploy 都不離開 AI orbit。

這個 pipeline 恰好是兩條公式的工業化形態:Harness 在每一步用 deterministic gate 守住,Self-Improve 在跨多步用人定義 eval 守住方向。Anthropic 第一方把這條路走通,等於業界對「AI 落地+進化」這個方向的最終驗證。

這就是我們導入時最後要把客戶帶到的地方 — 不是給工程師裝個 AI 助手,是讓整個 SDLC 在 AI 軌道上 self-improve。想看完整實作 → 安排 30 分鐘對談。