AI 讓我們更快得到答案,但會不會也讓我們更快放棄思考?加州大學柏克萊分校團隊與卡內基美隆、MIT、牛津、UCLA 的研究者合作,以 1,222 名受試者進行隨機對照試驗,結果發現:使用 AI 協助的受試者在短期內表現較佳,但一旦拿掉 AI,正確率立刻下降,也更容易直接跳過題目。更值得注意的是,使用方式不同,結果差異很大。
重點摘要
- 研究以 1,222 名線上受試者進行三項隨機對照試驗,涵蓋數學運算與閱讀理解
- AI 組在工具被移除後,正確率明顯低於全程未使用 AI 的對照組
- AI 組跳過題目的比例較高,顯示堅持度下降
- 把 AI 當成「要提示」而非「要答案」的受試者,沒有出現同樣的下滑
研究怎麼做的
這份論文題為〈AI Assistance Reduces Persistence and Hurts Independent Performance〉,發表於語言模型會議(COLM),通訊作者包括柏克萊人類相容 AI 中心研究員 Brian Christian,他也是《The Alignment Problem》一書的作者。
研究設計相當直接:受試者分成兩組,一組在練習階段可以使用 AI 助理,另一組沒有。練習結束後移除 AI,兩組在完全相同的條件下作答測驗題。整體流程約 13 到 15 分鐘。
-
實驗一:分數運算
305 人納入分析。練習 12 題後移除 AI,再測驗 3 題。答錯會顯示正解,受試者也可以按「跳過」,這個按鈕被用來衡量放棄的傾向。
-
實驗二:加大規模並排除干擾
585 人納入分析。加入前測篩選受試者的基礎能力,並讓對照組的側邊欄也顯示解題說明,排除「介面有沒有東西」造成的差異。
-
實驗三:SAT 式閱讀理解
168 人納入分析。改用閱讀理解題,驗證同樣的效應是否出現在非數理任務上。作答時間少於 5 秒者計為跳過。
移除 AI 後,結果差距立刻出現
三項實驗的測驗階段結果一致,AI 組的正確率都低於對照組:
- 實驗一:AI 組 57%,對照組 74%
- 實驗二:AI 組 71%,對照組 77%
- 實驗三:AI 組 76%,對照組 89%
跳過題目的比例則相反,AI 組明顯較高。實驗一為 20% 對 11%,實驗三為 8% 對 1%,兩者在統計上均達顯著;實驗二的跳過率差異則未達顯著。
研究者認為,這可能來自兩個原因。其一,AI 改變了受試者對「一題該花多久」的心理基準,使得自行思考顯得特別費力;其二,受試者失去了在困難中摸索的經驗,也就是所謂的「生產性掙扎」(productive struggle)。
你是在要答案,還是要提示?
這份研究最實用的發現,藏在實驗二的使用模式分析裡。研究者把 AI 組依實際使用方式再分類:
- 直接要答案(約 61%):測驗正確率 65%,低於對照組的 77%,跳過率也較高
- 要提示或說明(約 27%):沒有出現同樣的表現下滑
- 幾乎沒用 AI(約 12%):同樣未出現下滑
換句話說,問題似乎不在於「用了 AI」,而在於「怎麼用 AI」。不過研究者也明確提醒,這部分屬於事後的橫斷面分析,不能直接當成因果關係,因為使用方式本身可能就反映了受試者原本的學習習慣。
這份研究無法證明的地方
為了避免過度解讀,論文自己列出了幾項限制,值得一併了解:
- 實驗只測試十餘分鐘的短時間接觸,每天長期使用的累積效果仍然未知
- 測驗緊接在移除 AI 之後進行,效果能否持續數小時或數天並不清楚
- 實驗中的 AI 會直接給出完整答案,研究並未測試「引導式」AI 是否能避免這個問題
Christian 在新聞稿中表示,他希望 AI 能以更接近家教的方式回應,而不是預設直接給答案,並認為「我們需要努力走向一個讓人類能力被增強、而非被取代的未來」。
常見問題
這份研究是說 AI 會讓人變笨嗎?
不完全正確。研究測量的是「移除 AI 後的獨立作答表現與堅持度」,在短時間內出現下降,並未測量智力或長期能力變化。
那還能用 AI 嗎?
研究並未主張停用 AI。數據顯示,把 AI 當成要提示、要說明的受試者沒有出現同樣的下滑,使用方式可能才是關鍵。
這份研究可信嗎?
研究採隨機對照試驗,共 1,222 名受試者,三項實驗結果方向一致,論文並已通過同儕審查發表於 COLM 會議。不過樣本為線上受試者、接觸時間短,推論到長期使用仍需更多研究。
什麼是「生產性掙扎」?
指在解決問題的過程中,自行嘗試、犯錯與修正所帶來的學習效果。研究者認為,AI 直接給答案會讓人跳過這個階段,因而少了能力累積的機會。
為了求快,失去了什麼?
這份研究提醒了一件容易被忽略的事:AI 幫我們省下的時間,有一部分原本是用來累積能力的。對個人來說,刻意把問題先想過一輪再問 AI,或是要求 AI 給提示而不是給答案,可能就是差別所在;對團隊與組織來說,則是要分清楚哪些環節追求效率,哪些環節其實正在培養下一批能獨當一面的人。
優吉兒網頁設計持續關注 AI 與網頁技術的最新發展,並致力於落實在專案中,讓您的網站與世界接軌。若您正在規劃公司網站或改版升級,歡迎了解我們的網站作品與網站開發服務,或直接聯絡我們,我們提供免費的線上諮詢。
本文初稿由 AI 編寫