近年來，生成式人工智能技術(shù)被廣泛應(yīng)用，在為人們提供便利的同時，也讓造謠者有了可乘之機。近期就有多起AI生成謠言在網(wǎng)絡(luò)廣泛傳播，誤導(dǎo)公眾認知，破壞網(wǎng)絡(luò)環(huán)境。

今年11月28日網(wǎng)友上傳的一段視頻，一名模特在展出的車輛旁邊，衣著暴露，且做出不雅動作。而當天車企并沒有安排模特為車輛宣傳，車企選擇報警。

12月10日，廣州警方通報：“車展不雅視頻”事件：李某為炫耀個人技術(shù)用AI生成虛假視頻，被行拘10日。

珠峰裝電梯、長城貼瓷磚、黃河設(shè)玻璃護欄是近幾年出現(xiàn)的典型的網(wǎng)絡(luò)謠言。不過最近，網(wǎng)絡(luò)上珠峰裝電梯視頻依靠AI生成工具，制作得更加精良，再次席卷而來。

內(nèi)容雖然荒唐，但是因為傳播廣泛，官方緊急辟謠，西藏相關(guān)部門稱，目前珠峰暫無安裝電梯計劃，網(wǎng)傳圖文視頻為AI生成的虛假信息。部分營銷號利用AI偽造西藏各類打卡景點的虛假圖文視頻，用虛假話術(shù)吸引流量，提醒網(wǎng)民切勿相信此類謠言。

明確所有AI生成內(nèi)容都要“亮明身份”

以上這些利用AI生成的謠言視頻，效果都達到了“以假亂真”的程度，而且在發(fā)布傳播的過程中，都沒有標注AI生成標識，其結(jié)果就是，給網(wǎng)友錯覺認為這是真的。

事實上，今年9月1日起，《人工智能生成合成內(nèi)容標識辦法》正式施行，明確所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”，標注AI生成的標識。通常人工智能生成的視頻或者圖片以及文字標識問題，涉及三個主體：AI生成工具，信息發(fā)布和發(fā)布信息的平臺，每一個環(huán)節(jié)都應(yīng)標注。

如何“打上”AI生成標識？總臺記者演示

總臺記者也針對AI生成標識的標注進行了演示。

總臺央視記者 崔世杰：我給AI工具一個提示，讓他用雪山、湖泊和老虎制作一張圖片，AI給的圖片是這樣的。這張圖就是典型的人工智能生成的圖片，AI標識在哪里呢，在圖片的左上角寫有AI生成字樣，如果下載到手機中，標識會到右下角。

信息發(fā)布者如何在自己的發(fā)布的信息中打上AI制作的標識呢？以視頻號為例，打開已經(jīng)發(fā)布的信息，在下邊找到這個箭頭標記，點開，找到視頻標注的選項點擊，這里有幾個選項、內(nèi)容為AI制作、內(nèi)容為虛構(gòu)劇情，點AI制作。再看視頻下方會有一行字，作者提示，內(nèi)容為AI技術(shù)制作。

一些人為了博眼球?qū)I生成標識二次加工給去掉，發(fā)到平臺上。這時候作為謠言散布的最后守門員，平臺就要去識別，并且打上標識。刷短視頻時一定看到過這樣的文字，在視頻下方寫著內(nèi)容可能使用了AI圖像編輯技術(shù)，請注意甄別。這行字就是平臺識別判斷后加上去的。

平臺如何檢測AI生成內(nèi)容？為何有漏網(wǎng)之魚？

有了法律法規(guī)，技術(shù)上也會進行標注提示，為何網(wǎng)絡(luò)平臺還會出現(xiàn)此類謠言視頻？記者走訪了視頻平臺和AI生成研究團隊，來看看為何會有部分AI生成謠言成為漏網(wǎng)之魚，進而誤導(dǎo)網(wǎng)友。

相關(guān)數(shù)據(jù)顯示，短視頻平臺面對的是每天以億為單位的網(wǎng)民上傳的內(nèi)容。

某平臺生態(tài)運營經(jīng)理 陳詠月：目前，平臺對AI生成內(nèi)容的審核采用的是機審和人審相結(jié)合的方式，也在不斷強化識別能力。具體來說，平臺通過收集樣本，利用AI能力，訓(xùn)練了多個對AIGC內(nèi)容識別的模型，來識別一條視頻內(nèi)容是否是AI制作的。

那么具體AI識別工具在識別是否為AI生成的作品時，會留意哪些方面呢。

中國計算機學(xué)會計算機安全專委會執(zhí)行委員 潘季明：首先是針對文本的統(tǒng)計特征分析技術(shù)，尋找AI寫作過于平穩(wěn)、缺乏人味的“機器指紋”。其次是基于深度學(xué)習(xí)模型的檢測技術(shù)，通過對特定生成算法的缺陷進行識別，分析像素和頻域中存在的AI生成偽影，如紋理重復(fù)或特定圖案。第三是多模態(tài)融合檢測技術(shù)，利用大模型的通用理解能力來捕捉跨模態(tài)、高級語義上的不一致來實現(xiàn)。

不過平臺和專家也坦言，現(xiàn)在的AI工具的識別能力，還無法做到完全準確，其主要原因AI生成工具在不斷成熟，而AI識別工具始終處于追趕狀態(tài)。這讓AI謠言類信息未被檢測出來難以避免。

陳詠月：但是技術(shù)在不斷發(fā)展，模型識別的結(jié)果并不一定完全準確。

潘季明：現(xiàn)在主流的檢測技術(shù)主要面臨三大困難。一是存在理論瓶頸，隨著AI模型能力不斷增強，其輸出的統(tǒng)計特征越來越接近人類高質(zhì)量作品，導(dǎo)致理論上僅靠統(tǒng)計指標已無法區(qū)分，也就是概率分布重疊。其次是文本只需簡單潤色或同義詞替換；圖像只需壓縮或截圖就能破壞水印或偽影，使檢測器失效。第三是泛化性不足，檢測器通常是針對舊模型訓(xùn)練的，面對新的、未見過的AI生成模型，檢測效果會顯著下降，導(dǎo)致檢測始終處于“滯后”狀態(tài)。

AI提供者創(chuàng)作者及平臺應(yīng)共同防范AI濫用

專家表示，防范AI濫用不僅是識別工具技術(shù)更新問題，同時也要加速建立“數(shù)字信任生態(tài)體系”。

陳詠月：AI濫用的治理是個系統(tǒng)性工程，網(wǎng)絡(luò)黑灰產(chǎn)為了利益也會進行技術(shù)升級，還會有更多的技術(shù)對抗。所以對AI濫用的治理仍然需要AI服務(wù)提供者、創(chuàng)作者、內(nèi)容傳播平臺、廣大用戶共同努力。

潘季明：通過深化利用多模態(tài)融合分析、動態(tài)對抗訓(xùn)練技術(shù)以及區(qū)塊鏈存證追溯等技術(shù)，結(jié)合內(nèi)容標識法規(guī)、行業(yè)統(tǒng)一的檢測標準，以及可解釋的檢測結(jié)果等治理框架，共同實現(xiàn)從被動識別到主動驗證，從局部鑒別到全局可信的識別追蹤方案。