淺色模式
小 中 大
跳到主要內容區塊
001
:::

OpenAI 開放兒少保護工具,違者停權一天

發佈日期:2026/11/18
複製連結 LINE facebook

OpenAI 在 11 月 16 日公布一系列打擊網路兒少性剝削的措施。其中最受關注的有兩項:一是與美國國家失蹤與受剝削兒童中心(NCMEC)合作開發的影像偵測工具,免費提供給經審核的機構使用,還能標示影像是否可能由 AI 生成;二是 ChatGPT 偵測到有人試圖取得這類內容時,會跳出警告、刪除對話,並暫停帳號 24 小時。

生成式 AI 讓偽造影像變得容易,兒少保護團體這兩年承受的壓力也明顯增加。OpenAI 這次的做法,是把自家的偵測技術開放給整個產業,同時在自己的產品裡加上攔阻與轉介機制。

重點摘要

  • 新的影像偵測工具與 NCMEC 合作開發,經審核的機構可透過 API 免費使用
  • 依 OpenAI 的測試,需要人工審查的影像減少 48%,找到的違法影像數量則大致相同
  • ChatGPT 使用者試圖取得兒少性剝削內容時,對話會被刪除、帳號暫停 24 小時,屢犯者可能被通報執法單位
  • OpenAI 同時發布給開發者的防範指引,並提供執法單位專用的調查工具與訓練
OpenAI 開放兒少保護工具,違者停權一天|優吉兒網頁設計

免費偵測工具,能標示是否為 AI 生成

這次推出的是一套影像分類器,能偵測可能涉及兒少性剝削的影像,包括由 AI 生成的內容。它會為每張影像打分數,協助審查人員決定哪些影像需要優先處理,也能找出過去從未被記錄的新影像。

過去平台常用的做法,是把影像與已知違法內容的資料庫比對,但這種方式無法辨識新出現的影像。依 OpenAI 的說法,這是第一個廣泛開放使用、並能特別標示影像是否可能由 AI 生成的同類工具。

OpenAI 表示,這套工具在訓練、評估與設計階段都有 NCMEC 協助;NCMEC 是營運美國兒少剝削通報平台 CyberTipline 的非營利組織。經審核的機構可透過 OpenAI 的 API 免費使用,業界組織 Tech Coalition 與開源安全工具組織 ROOST 也會協助推廣。OpenAI 另表示,近期已加入 Tech Coalition 的 Lantern 計畫,與其他平台交換兒少剝削相關的警示訊號。

審查量少近一半,命中率提高一倍

對負責審查的團隊來說,這套工具的價值在於減少不必要的人工審查。依 OpenAI 對使用者上傳影像的測試,與目前使用的工具相比:

  • 需要標記審查的影像減少 48%,找到的違法影像數量則大致相同。
  • 被新工具標記的影像,確實含有違法內容的機率約為原本的兩倍。

早期合作夥伴也公布了各自的測試結果。AI 影像平台 fal 表示,在人工審查過的實際影像中,工具以高信心標記的項目有 72% 經確認為過去未被記錄的違法影像;影片生成平台 invideo AI 表示,每四個被標記的案例中,就有一個最後導致帳號被封鎖;安全工具公司 SafetyKit 則表示,工具能偵測出 90% 以繪圖或動畫呈現的違法內容,而對合法成人內容的誤判率低於 1%。

需要注意的是,這些數字都來自 OpenAI 與合作夥伴自己的測試,尚未經過獨立驗證。OpenAI 在工具的說明文件中也強調,分數只能作為優先審查的參考,不能當作違法的證明,最終判定仍須由人工審查。

ChatGPT 違規即停用 24 小時

OpenAI 原本就禁止這類內容,並訓練模型拒絕相關請求。這次在 ChatGPT 中新增了一道攔阻機制:當系統偵測到有人試圖取得兒少性剝削內容,會跳出警告,說明將兒童性化會造成傷害、可能觸法,即使要求的是 AI 生成的內容也一樣。

同時,相關對話會被刪除,帳號暫停使用 24 小時,並提供專業的協助資源,幫助使用者停止有害行為。屢次違規者可能面臨更長的限制,最終可能被關閉帳號或通報執法單位。

這套機制是與兒少保護組織共同設計的,包括芬蘭的 Protect Children、英國的 Lucy Faithfull Foundation,以及肯特大學與塔斯馬尼亞大學的研究人員,他們曾獨立評估過類似警示訊息的試驗。塔斯馬尼亞大學副教授 Joel Scanlan 表示,OpenAI 的做法是「平台如何嚇阻並中斷有害線上行為的最佳實務範例」,並會盡可能將使用者轉介到所在地的協助資源。

開發者有指引,執法單位有工具

除了偵測與攔阻,OpenAI 也發布了一份給開發者的防範指引,協助不同規模的機構建立自己的安全機制。指引由 Tech Coalition、Thorn、NCMEC 與英國網路觀察基金會(IWF)提供意見,內容包括明確的使用規範、讓使用者通報疑慮的管道、偵測工具,以及審查與通報可疑內容的流程,也說明如何照顧負責審查敏感內容的員工。

OpenAI 也與 Anthropic、Google 共同委託 Tech Coalition 撰寫指引,協助開發者處理使用者在與 AI 對話時揭露受到性剝削的敏感情況。OpenAI 表示,這份指引發布後,已有更多開發者開始使用兒少安全工具,並向 NCMEC 註冊通報。

在執法端,OpenAI 將提供兒少保護調查單位專用的工具與訓練,第一款工具能協助調查人員檢閱冗長的對話紀錄與調閱資料、找出潛在關聯並建立時間軸,所有發現都會連結回原始資料。使用權限須經機關授權並符合計畫要求。

AI 相關通報兩年暴增

這些措施的背景,是生成式 AI 相關通報的快速增加。依 NCMEC 官方網站公布的數字,CyberTipline 收到與生成式 AI 有關的通報,從 2023 年的約 4,700 件,增加到 2024 年的約 6.7 萬件,2025 年更超過 40 萬件。

但這些數字需要謹慎解讀。NCMEC 自己也註明,並非所有與 AI 相關的通報,都涉及製作或散布 AI 生成的違法內容。史丹佛大學網路與社會中心研究員 Riana Pfefferkorn 今年 1 月就曾撰文指出,其中有相當大的比例,來自科技公司掃描 AI 訓練資料時比對到既有的違法影像,並不是 AI 生成的內容;她也批評 NCMEC 的通報表單分類過於模糊,容易讓外界誤讀。

換言之,通報量暴增反映的是 AI 與兒少剝削的交集正在擴大,以及各家公司開始積極掃描與通報,不等於 AI 生成的違法影像增加了這麼多倍。

家長與網站經營者能做的事

  1. 和孩子談 AI 偽造照片的風險

    讓孩子知道,任何人都可能用 AI 把公開的照片改造成不當影像;一旦發現自己或朋友的照片被濫用,要立即告訴信任的大人。也讓孩子知道,說出來不會因此被沒收手機,他們才比較願意及早開口。

  2. 檢查社群帳號的公開範圍

    考慮把孩子或家庭相關的社群帳號設為不公開,並提醒親友,公開發布孩子的照片之前先徵求同意。

  3. 發現可疑內容,通報而不轉傳

    不要下載、截圖或轉傳疑似違法的內容。依台灣法律,無故重製或持有兒少性影像本身就可能觸法,轉傳也會擴大傷害。應直接向平台檢舉,並向衛福部性影像處理中心申訴(服務專線 02-6605-7373,每日 9 點至 22 點);若孩子的人身安全受到威脅,請撥打 113 保護專線,緊急狀況請撥 110。

  4. 開放上傳的網站要有檢舉管道

    若網站開放使用者上傳圖片或影片,例如會員社群、評論區或作品分享,至少應建立明確的使用規範、讓使用者通報的管道,以及處理通報的內部流程。台灣現行條例已要求網路業者知悉後先行限制瀏覽或移除,並保留資料 180 日供調查;2024 年修法更明定 24 小時的處理時限,只是尚待行政院公布施行日期。OpenAI 的開發者指引,也是以這幾項作為基本框架。

數據多來自 OpenAI 與合作夥伴

引用上述資料時,有三點需要向讀者說明:

  • 成效數據的來源:減少 48% 審查量、命中率提高一倍,以及 fal、invideo AI、SafetyKit 的測試結果,都由 OpenAI 及其合作夥伴提供,目前尚無獨立第三方的驗證。
  • 「第一個」的說法:能標示 AI 生成的「第一個廣泛開放的同類工具」,是 OpenAI 自己的說法。
  • 通報數字的解讀:NCMEC 的 AI 相關通報數字包含多種情況,並非全部是 AI 生成的違法內容,本文已一併說明。

常見問題

一般人可以使用這套偵測工具嗎?

不行。工具只開放給經 OpenAI 審核的機構,例如兒少保護組織與需要審查使用者內容的平台,透過表單申請後以 API 免費使用。

ChatGPT 會不會誤判而停用我的帳號?

暫停 24 小時的機制,針對的是試圖取得兒少性剝削內容的行為。OpenAI 沒有公布這套機制的誤判率;若認為帳號遭到誤判,可透過 OpenAI 的客服管道反映。

在台灣發現可疑內容該向誰通報?

兒少性影像的專責申訴窗口是衛福部性影像處理中心,可透過官網線上申訴,或撥打服務專線 02-6605-7373(每日 9 點至 22 點)。其他不當網路內容可向 iWIN 網路內容防護機構申訴;兒少人身安全受威脅請撥 113 保護專線,緊急狀況請撥 110。請勿下載或轉傳相關內容。

偵測技術開放給整個產業

網路兒少保護從來不是單一公司能解決的問題。OpenAI 這次最值得注意的,不是在自家產品裡加了什麼限制,而是把偵測技術免費開放給其他機構,讓沒有能力自行開發的小型平台,也能使用同等級的工具。

工具的實際成效仍有待獨立驗證,ChatGPT 的停權機制能否真正嚇阻有心人士,也需要時間觀察。但對家長與網站經營者來說,有些事不必等待:和孩子談談風險、留意公開分享的照片,以及讓自己的網站具備基本的通報與處理機制。

優吉兒網頁設計持續關注 AI 與網頁技術的最新發展,並致力於落實在專案中,讓您的網站與世界接軌。若您正在規劃公司網站或改版升級,歡迎了解我們的網站作品與網站開發服務,或直接聯絡我們,我們提供免費的線上諮詢。

本文初稿由 AI 協助編寫

回列表