銀行的核心帳務、政府的報稅系統、氣象單位的運算模型,許多至今仍在運作的關鍵系統,是用 COBOL、Fortran 這類數十年前的語言寫成。這些語言公開資料稀少,懂的工程師也越來越難找,長年是企業系統汰換的最大難題。OpenAI 在 10 月 19 日公布一份實測結果,顯示新一代模型在這類語言上的表現出現大幅躍進。
重點摘要
- OpenAI 針對 COBOL、Fortran、Visual Basic 等「低資源程式語言」進行實測,並公開評測工具
- 在 20 種語言的綜合測試中,新模型平均通過率從 26.8% 提升到 87.4%,COBOL 從 10.9% 提升到 72.1%
- COBOL 程式轉換到其他語言的任務,準確率從 5.4% 提升到 97.9%,且成本更低
- OpenAI 強調,用於正式環境仍須經專家審查,並比對系統的業務規則與相依性
什麼是「低資源程式語言」?
AI 模型的能力,很大程度取決於訓練時看過多少資料。像 Python、JavaScript 這類語言,網路上有海量的開源專案、教學與討論,模型自然學得好。但 COBOL、Fortran、Visual Basic 這些語言的情況相反:公開的程式碼與文件相對稀少,許多關鍵程式還鎖在企業內部系統裡,不會對外公開。
這就形成一個矛盾的局面。越是支撐關鍵業務的老系統,AI 越不擅長處理;而這些系統偏偏又最需要有人接手維護。
兩項實測:從零寫資料庫,以及轉換 COBOL 程式
OpenAI 這次公布了兩項測試的結果:
-
MultiLangBench:用 20 種語言從零打造資料庫引擎
測試要求模型從頭寫出一套與 SQLite 相容的資料庫引擎,涵蓋 C、Java、Python、Rust、COBOL、Fortran、Lean 等 20 種語言。驗證方式是用實際的資料庫檔案當作介面,再以正版 SQLite 的官方測試項目檢驗結果,同時記錄通過率與使用成本。
-
COBOL 遷移:把舊程式改寫成現代語言
第二項測試要求模型把 COBOL 程式改寫成 C++、Java、Kotlin、Python 或 Rust,同時保持行為完全一致。驗證採用隱藏測試,輸出必須逐位元組相同才算通過,連定點運算的小數進位方式都不能有差異。
數據:進步幅度相當明顯
在 MultiLangBench 的測試中,新模型 GPT-6 Astra 的平均通過率為 87.4%,前一代 GPT-5.6 Sol 則是 26.8%。個別語言的落差更大:
- COBOL:10.9% 提升到 72.1%
- Fortran:21.4% 提升到 83.5%
- OCaml:25.6% 提升到 85.8%
- Visual Basic:27.5% 提升到 89.4%
20 種語言中有 19 種的通過率超過 83%,COBOL 仍是最難的一種。至於 COBOL 的程式遷移任務,模型在高推理強度下的準確率達到 97.9%,前一代則只有 5.4%,而且運算成本更低。
要留意的是,這些數據全部由 OpenAI 自行測試與公布。不過 OpenAI 也把 MultiLangBench 的評測環境與測試項目公開在 GitHub 上,有興趣的團隊可以自行驗證。
官方強調:仍然需要專家把關
值得注意的是,OpenAI 在文章中特別提醒,把這類遷移能力用在正式環境的軟體上,仍然需要專家審查,並且要對照系統實際的業務規則與相依性進行測試。
這個提醒並不多餘。老舊系統難處理,往往不是因為語言本身艱深,而是因為經年累月累積的特殊規則、未文件化的例外處理,以及與周邊系統盤根錯節的相依關係。程式碼可以逐行轉換,但這些藏在系統裡的業務邏輯,仍然需要懂這套系統的人來判斷。
常見問題
什麼是低資源程式語言?
指公開的程式碼與文件相對稀少的程式語言,例如 COBOL、Fortran、Visual Basic。由於 AI 模型訓練時接觸到的樣本較少,過去在這些語言上的表現明顯不如 Python、JavaScript 等主流語言。
這代表舊系統可以交給 AI 自動改寫了嗎?
還不行。OpenAI 自己也說明,用於正式環境仍需專家審查,並比對系統的業務規則與相依性。測試環境中的程式,和實際運作多年、累積大量特殊規則的系統,複雜度並不相同。
這些數據可以信任嗎?
數據由 OpenAI 自行測試與公布,但 OpenAI 已將 MultiLangBench 的評測環境與測試項目公開在 GitHub,第三方可以自行驗證。
為什麼 COBOL 的分數仍然最低?
COBOL 是測試中最困難的語言,通過率 72.1%,低於其他 19 種語言的 83% 以上。這與它的語法特性、公開資料量,以及常見於複雜金融運算的應用場景都有關係。
結語:技術債的處理方式正在改變
許多企業的系統與網站,都存在類似的「技術債」:還能運作,但使用的技術已經老舊,熟悉的人越來越少,每次要調整都格外費力。這次的測試結果顯示,AI 在理解與轉換舊程式上的能力確實在快速提升,過去因為人力難尋而被擱置的汰換計畫,評估的前提可能需要重新檢視。
不過正如 OpenAI 自己的提醒,工具變強不等於過程變得輕鬆。系統轉換的真正風險,始終在於有沒有完整掌握原本的運作邏輯,以及切換過程中的驗證是否周全。
優吉兒網頁設計持續關注 AI 與網頁技術的最新發展,並致力於落實在專案中,讓您的網站與世界接軌。若您正在規劃公司網站或改版升級,歡迎了解我們的網站作品與網站開發服務,或直接聯絡我們,我們提供免費的線上諮詢。
本文初稿由 AI 編寫