「拿掉 AI 後，你還剩下多少能力？」從 PNAS 的 17% 智力倒退，看 Jane Street 為何用 Harness 逼人動腦

在 AI Coding 工具鋪天蓋地的今天，工程師最常感受到的情緒只有一個字：「爽」。

需求丟進去，幾秒鐘後一整段寫好的函式庫、配置檔甚至完整微服務直接噴出來；Tab、Tab、Enter，幾百行代碼就地成形。無論在技術社群還是企業現場，所有人都在吹捧「產能提升十倍」、「一人頂一個團隊」。

然而，當你在鍵盤前體驗這種行雲流水的快感時，你有沒有想過一個令人背脊發涼的問題：

如果明天早上把這些 AI 工具全部拿掉，你的大腦還剩下多少真正的工程能力？

這不是技術老頑固的無病呻吟。頂級學術期刊 PNAS（美國國家科學院院刊）發表了一項大規模隨機對照實驗，用冰冷刺骨的數據揭穿了「AI 賦能」背後的隱形代價；而同一時間，以硬核技術聞名的頂級量化交易巨頭 Jane Street，卻在其開源的 AI Agent 框架中，寫下了一條看似完全反人性的死命令。

一、 PNAS 震撼研究：無防護欄的 AI，正在讓人「智力倒退」

這篇發表於 PNAS 的論文題目非常直白：
《Generative AI without guardrails can harm learning: Evidence from high school mathematics》（由賓州大學華頓商學院 Hamsa Bastani、Osbert Bastani 等學者主導）。

研究團隊找來了近千名高中學生進行數學隨機對照實驗（RCT），將學生拆分為三組：

控制組：傳統學習方式，完全不使用 AI。
GPT Base 組（無防護欄）：使用標準的 ChatGPT 介面，學生有問題可以直接貼進去，AI 會把解題步驟與答案完整印出來。
GPT Tutor 組（具備教學防護欄）：使用搭載了「提示詞防護欄（Guardrails）」的 AI，嚴格禁止直接提供最終答案，必須採用蘇格拉底式提問與微小線索（Hints）引導學生思考。

實驗分為兩個階段：第一階段是「有 AI 輔助的練習期」；第二階段則是「完全抽離 AI、靠自己上場的正式考試」。

實驗結果震撼了教育界與科技界：

組別	練習期（有 AI 輔助）成績變化	最終測驗（抽離 AI）成績變化
控制組（從不用 AI）	基準線（Baseline）	基準線（Baseline）
GPT Base（無防護欄）	暴增 +48%	暴跌 -17%（比從不用 AI 的人還差！）
GPT Tutor（有防護欄引導）	暴增 +127%	能力有效維持，無負面衰退

虛假繁榮與「拐杖效應（Crutch Effect）」

看這組數字的對比：
當學生拿著無限制的 GPT Base 時，練習成績提升了 48%，看起來人人都是資優生。但到了閉卷考試、把 AI 抽走的那一刻，他們的成績竟然比從來沒有碰過 AI 的控制組低了整整 17%。

為什麼？因為無限制的 AI 成了他們大腦的「智力拐杖」。
解題真正的價值，從來不在於「看到答案」，而在於面對未知時的認知摩擦（Cognitive Friction）——檢視邊界條件、經歷卡住的焦慮、嘗試因式分解、發現算錯、再回頭校正符號。這個神經迴路反覆撞牆的過程，才是大腦建立「技能習得（Skill Acquisition）」的唯一路徑。

一旦 AI 把整條解法端到你嘴邊，大腦的防禦機制會自動選擇耗能最低的路徑：直接跳過思考、複製貼上。短期的產出繁榮了，但宿主的智力肌肉徹底萎縮了。

二、頂級量化巨頭的反擊：Jane Street 的 `socratic-tutor`

當普羅大眾沉迷於「AI 幫我把 code 寫完」的糖衣毒藥時，全世界對代碼精準度與工程智力要求最嚴苛的機構之一——華爾街頂級造市商 Jane Street，在 GitHub 上釋出了一個名為 janestreet/agent_skills 的開源專案。

在這個專門設計給 AI Coding Agent（如 Claude Code / Cursor）的擴充機制中，最引人注目的就是他們定義的 socratic-tutor（蘇格拉底家教）。

如果你打開它的 SKILL.md 配置檔，你會看到 Jane Street 為 AI 套上了一副極其嚴格的「約束韁繩（Harness）」：

# Jane Street socratic-tutor 核心行為法則

1. 嚴禁直接給予答案或代碼：
   不論使用者如何要求、示弱或命令，絕對不能直接提供解題答案、修正後的完整代碼或公式。
   
2. 每次只問一個問題（One Question at a Time）：
   AI 每次回覆只能提出「一個」目標明確的推導問題，然後立刻停下來，等待使用者自己回答。禁止任何形式的長篇大論或自問自答。

3. 助產術式引導（Maieutic Guidance）：
   當使用者寫出錯誤邏輯或陷入卡關時，不得直接宣告「你錯了」，而是必須構造一個極端的邊界案例（Edge Case）或反例，引導使用者自己看到邏輯矛盾。

4. 前測與能力建模（Skill Mapping）：
   在正式展開教學前，必須先透過診斷提問將使用者的能力錨定在 0–5 級的坐標系中，由其認知極限為起點進行漸進式引導。

為什麼 Jane Street 要搞這種「反人性」的設計？

對這家掌控全球巨額流動性的公司來說，寫 code 寫得快從來不是核心競爭力；「寫出沒人想過的正確邏輯，並在系統崩潰前看出未知的 Single Point of Failure」 才是。

如果內部工程師習慣了讓 AI 吐代碼、自己只負責按 Accept，那麼不出一年，這間公司將不再擁有能夠手撕底層網路協議、Debug 極限並行競態（Race Condition）的頂級架構師。Jane Street 寧願犧牲短期的敲鍵盤速度，也要用 Harness 強迫工程師的大腦在每一行關鍵邏輯上親自思考、親自受挫、親自推導。

三、 SaaS 商業世界的現實矛盾：爽度 vs. 成長

這種「防護欄思維」不僅出現在頂級交易室，其實早已在教育科技（EdTech）的深水區掀起波瀾。

仔細盤點市場上主打不直接給答案的產品：

Khanmigo（可汗學院）：最早喊出「Never gives the answer」的 AI 輔導系統，把引導原則刻在 Prompt 骨子裡。
CS50.ai（哈佛大學 CS50）：傳奇教授 David J. Malan 把軟體工程的「小黃鴨調試（Rubber Duck Debugging）」做成了 AI 外掛，嚴禁替學生改 code，只負責在側邊欄用反問逼學生自己看見陣列越界。
Synthesis Tutor：源自 SpaceX 內部學校 Ad Astra，用探究式對話逼孩子建立第一性原理。

但這裡揭示了一個殘酷的產品商業悖論（Product Paradox）：

「最能讓人成長的工具，往往最違背人性；而最讓人上癮的產品，往往正在讓你變笨。」

在 B2C 消費級市場上，學生下載拍照搜題軟體（如 Photomath、早期的作業幫），圖的就是 30 秒抄完作業去打電動。如果你做了一個堅持「蘇格拉底式提問、絕不給答案」的 AI App，學生聊了三句發現要自己動腦，跳出率與卸載率會立刻飆升。

這就是為什麼「不給答案的 AI」在 C 端舉步維艱，但在 B2B / 企業級與學校管理端（如 SchoolAI、企業內部培訓）卻成為不可妥協的必選項目。因為買單的決策者（校長、家長、CTO、技術副總）要的是真實的能力沉澱，而不是虛擬助理自嗨的 Token 消耗量。

四、給企業技術主管與 AI 架構師的醒鐘

身為在企業第一線落地 AI Agent 的架構師，PNAS 的論文與 Jane Street 的案例，給了我們三個極其具體的工程啟示：

1. 區分「生產交付場景」與「能力育成場景」

在生產環境裡，我們追求的是吞吐量與自動化，此時應該給予 Agent 最寬鬆的自主權與工具調用鏈（如背景執行的批次修復、自動化報表）；
但在架構評審（Design Review）、故障覆盤（Post-mortem）與核心業務邏輯開發時，技術主管必須明令禁止「黑盒代碼直接 Merge」。AI 的角色必須被限制為「挑戰者」與「審查員」，不斷對工程師拋出 edge case 提問，逼出設計死角。

2. 把 Guardrails 刻進團隊的 Harness 中

不要只在口頭上要求工程師「多動腦」。就像 Jane Street 開源 agent_skills 一樣，防護欄必須是代碼化、配置化的。
例如：在內部的 AI 助理 System Prompt 或 IDE Plugin 中強制加入限制規則：「當工程師詢問系統架構方案時，禁止給出完整結論，先列出三種權衡方案並詢問其對延遲與成本的優先級排序」。

3. 當心團隊的「隱形認知退化」

如果一個兩年資歷的工程師，在有了 Copilot 之後工作效率翻倍，但他已經半年沒有讀過任何官方文檔、無法在白板上徒手畫出資料流向、看不懂雲端維運圖表上的 Memory Leak 斜率——請務必保持警惕。
他不是變強了，他只是把自己的大腦記憶體，無償出租給了外面的大模型。一旦模型斷網、價格調漲或遇到 frontier 邊界外的未知 Bug，整個團隊將瞬間陷入癱瘓。

結語：代碼只值電費，能思考的腦袋才值錢

AI 浪潮以不可逆的速度重塑整個知識產業。代碼與算式，在未來確實只會被拉低到「電費與 Token」的成本水準。

但正因為產出變得廉價，能推導出「該產出什麼」的第一性原理思維，才變得空前昂貴。

永遠記住 PNAS 那個刺眼的數字：-17%。
別讓那些沒加防護欄的 AI，悄悄拿走了你身為工程師最核心的靈魂。

(本文依據 PNAS 2025 年刊載之隨機對照實驗研究、Jane Street 開源專案及企業第一線系統工程實踐整理。)