Ethan Mollick：長任務中模型差距為何會放大

根據 AB Media 報導，賓州大學華頓商學院教授 Ethan Mollick 引用關於長程任務的研究指出，生成式 AI 模型在簡單測試上的差距看似不大，但放進需要連續執行數十個步驟的任務後，差距可能會逐步放大。這項名為《The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs》的研究聚焦於「執行」能力，實驗先提供模型所需的知識與計畫，再觀察其執行一連串步驟的情況。研究指出，即使較小模型的單步正確率接近完美，規模較大的模型仍能正確執行更多回合，且步驟拉長時各模型的逐步正確率皆會下降。

研究並指出「自我條件化」現象，當對話脈絡包含模型先前的錯誤時，後續犯錯機率亦會增加。單純放大模型規模無法完全消除此效應，但讓模型進行思考能減輕問題。Mollick 據此認為，在 AI 代理工作流程中，負責規劃與協調的角色應使用判斷力較好的模型，企業在進行模型評測時不能只看單題分數。不過他也提醒，論文並未直接比較多模型代理架構或量化成本效益，企業採用時仍須自行測試。

長程任務的核心挑戰在於錯誤可能一路傳遞。研究顯示，較強模型與額外思考可延長可靠執行的範圍，但並不代表模型不會出錯。實務上仍需透過將任務拆成可驗證小步驟、保留人工覆核點及維持系統回復能力來降低風險。