為什么我們要警惕“AI生成謠言”？

  當技術能輕易制造“有圖有真相”的謊言，信息的真實性由此變得撲朔迷離。

  過去半年，AI生成的謠言，從文字到視頻，從民生到公共安全，以近乎工業化生產的模式泛濫，形成“謠言→AI引用→更多謠言”的傳播鏈條。

  年初，達沃斯世界經濟論壇發布的《2025年全球風險報告》，將“錯誤和虛假信息”與武裝沖突、極端天氣、經濟對抗和社會極化列為2025年全球面臨的五大風險。

  虛假信息不僅誤導消費者，還可能對社會秩序、國家安全甚至人民群眾的生命財產安全構成威脅。其中，AI正在成為制造和放大錯誤和虛假信息的重要一環……

  新疆拜城縣發生地震時期，造謠者利用AI技術手段發布虛假信息誤導公眾。

  一些網民通過AI憑空杜撰，惡意拼湊剪接，夸大扭曲事實，借事故話題編造謠言，破壞社會秩序，而AI技術的便利性正被他們精準利用。

  另一邊，AI幻覺與一些人的盲信交織，加劇了謠言的破壞力。大模型基于概率的“創作邏輯”，常因數據污染或技術缺陷生成看似合理實則虛構的內容。

  隨著生成式AI技術爆發式發展，網絡謠言與虛假信息呈現智能化、規模化、爆發化特征。治理的滯后與技術狂飆間的矛盾日益尖銳。

  如何破解AI幻覺技術難題，從源頭打擊謠言，避免人工智能成為造謠幫兇，構建多維度治理體系，正成為當下網絡輿論社會治理的新命題。

  “偽造”

  AI謠言正在批量生產

  近半年來，AI的生成能力多次被注入謠言生產線。

  從虛構天災到偽造“科學數據”，從拼接舊圖到捏造“權威解讀”，AI工具的低門檻濫用讓謠言制造呈現工業化、專業化趨勢。

  在自然災害方面，利用AI制造的謠言成為恐慌放大器。

  2025年1月7日，西藏定日縣發生6.8級地震，而一系列“小男孩被埋圖”在互聯網平臺廣泛傳播，并配文日喀則地震等關鍵詞，引發大量網民關注。

  鑒于該圖片存在明顯AI生成痕跡，如圖中的小男孩有6根手指，虛假圖片很快就暴露了。

  但在這之后，一出現自然災害，AI謠言常常相伴而生。由于AI工具的發展日新月異，相關圖片的“真實度”也越來越高。

  3月初，廣東出現強對流天氣，多地下起了冰雹。但在一些網絡平臺，有網民發布了“冰雹比雞蛋還大”“冰雹砸壞汽車”“冰雹砸垮了房屋頂棚”等圖片，并配文“廣東多地最近下冰雹”。

  經核實，這些圖片均為通過AI制作生成的虛假圖片，其畫面明顯夸大了災情。

  有網民用AI生成的圖片夸大冰雹災情。

  “AI冰雹圖片”的謠言過去還沒兩天，2025年3月5日，新疆阿克蘇地區拜城縣發生4.5級地震，震后僅3小時，某短視頻平臺便出現“已致3人死亡、65戶房屋倒塌”的謠言，配以AI拼接的房屋坍塌圖片和方言配音的“災民呼救”視頻。

  經核查，這是造謠者利用AI技術手段拼接網絡舊圖，發布與此次地震不符的圖文、音視頻等虛假信息誤導公眾。實際上，經當地政府全面摸排，此次地震未造成人員傷亡和財產損失。

  新疆拜城縣發生地震時期，造謠者利用AI技術手段拼接網絡舊圖，發布與此次地震不符的圖文、音視頻等虛假信息誤導公眾。

  除自然災害領域的謠言外，AI的“理性氣質”也越來越多被用來包裝成反常識的“科普類”謠言。

  近期，一篇利用AI炮制的“80后死亡率突破5.2%”的虛假報告，因偽造的“權威數據”和“專家解讀”視頻引發網絡集體焦慮。

  謠傳“每20個80后就有1人去世”，造謠傳謠的疑為AI。

  在傳播過程中，一些自媒體賬號發布AI生成的“專家解讀”視頻，一名身著白大褂的虛擬人像，以專業術語分析“中年健康危機”，背景還穿插偽造的統計圖表，最終被證實數據完全虛構。

  經網安部門調查，這些謠言是個別網民為挑撥情緒、售賣保健品而推波助瀾去傳播。

  類似手法在食品安全、醫療健康領域尤為猖獗。

  2024年底，網絡上出現了一段復旦大學附屬華山醫院感染科主任張文宏賣力推銷某保健品的視頻。不少網友出于對張文宏的信任購買、轉發。然而，張文宏本人很快對此做出了澄清，該視頻非其本人錄制，是用AI偽造的。

  對謠言的炮制者來說，AI的出現讓造謠的成本大幅降低。

  造謠者借助AI，只需要簡單輸入指令，就能批量生產仿真度高的虛假信息，還有以假亂真的圖片和視頻。

  清華大學新聞與傳播學院新媒體研究中心2024年4月發布的一份報告顯示，經濟領域已成AI謠言的高發地。

  2025年2月，有網民造謠“國內首例智能駕駛致死案宣判”，虛構有車主使用小鵬汽車智能駕駛發生車禍的信息。經網安部門查實，閆某某為吸引流量、賺取收益，通過AI洗稿炮制了該網絡謠言。

  值得警惕的是，利用AI造謠已然形成了分工明確的灰色產業鏈。據媒體報道，不法者會在兼職群里發布招募信息，教學員“洗稿”牟利，自己則通過賺取傭金、收取賬戶草稿箱存稿費等形式非法獲利。這種一人動輒“手握”上千賬號的造假方式，讓謠言不斷發酵，影響力不斷擴大。

  “幻覺”

  AI自動編造“合理”細節

  這些天，當DeepSeek讓大模型之風吹到了尋常百姓家，有不少網友反映，“為啥我的AI愛胡說？”

  大模型“愛瞎說”，實質是大模型的“AI幻覺”這一原生性技術缺陷。

  快思慢想研究院院長、原商湯智能產業研究院創始院長田豐解釋道，當前大語言模型基于Transformer架構的概率統計機制，本質上是通過海量數據訓練形成的“概率游戲”，其核心機制是通過概率統計預測文本序列，這種“想象力驅動”的生成方式天然存在產生事實偏差的隱患。“就像人類大腦的創造性思維需要容錯空間，這也是AI之所以具有創新能力的關鍵。”

  這種“幻覺”或許始終刻在大模型基因里：大模型訓練是對大數據的壓縮，捕捉數據蘊含的大大小小的知識點和規律。大模型并非死記硬背數據庫，訓練數據中的“長尾”事實與噪音無異，被壓縮剔除。面對這些缺失信息，模型會自動編造看上去“合理”的細節填補，最終形成AI幻覺。

  在法律等專業領域，已有“吃螃蟹的人”上了AI幻覺的當。

  比如2019年有一宗涉及航空公司侵權的案件，在2023年進入法院審理。律師利用ChatGPT撰寫法律簡報時，引用了大量法院過去的判例。但法院審查起訴文書時發現，這些判例完全不真實。

  這起典型案例中，AI在找不到合適的資料時，通過“編造”部分內容，以盡量滿足用戶的需求，但最終輸出的文書漏洞百出。

  “除了技術局限外，數據質量對AI內容的生產也至關重要。”田豐表示，除了AI在底層具有自身的“想象力”之外，互聯網上良莠不齊的信息源在某種程度上也加劇了這種錯誤率，自媒體為商業利益制造的虛假內容、歷史記錄的多版本等，都成為AI模型的“事實”陷阱，有時候確實會形成“垃圾進－垃圾出”的惡性循環。

  田豐舉例說，例如網上有五篇文章講天鵝，三篇說天鵝是黑色，兩篇說天鵝是白色，那么在學習中，大模型通常會偏向前者。

  而當下，技術的普及也加速了謠言的傳播，網絡治理之外還需要面對更為復雜多變的人工智能數據攻防，“新型AI黑客會繞過模型的安全防護殼，通過數據投毒、對抗樣本攻擊等手段誘導模型輸出錯誤信息。我們測試發現，只需在訓練數據中混入0.7%的毒化內容，就能顯著改變模型輸出傾向。”田豐解釋道，例如現在利用擴散模型+智能體技術，網絡灰產團伙可日均生成10萬條AI謠言，在蔚來汽車案例中，通過完全虛構生成的所謂“李斌直播破防”等內容，圖、文、視頻俱全，傳播速度是人工造謠的50倍。

  從傳播的角度來看，當AI生成的內容與人類創作的內容交織在一起時，就會出現所謂的“銜尾蛇”模式。北京大學新聞與傳播學院教授胡泳在接受采訪時介紹，當最終數據合并，分不清哪些是人類創造、哪些是AI生成，則會引發一系列嚴重的后果。“特別是當我們高估人工智能系統的智力，從而對它產生過度信任時，一旦人工智能系統出現錯誤，后果就會相當危險。”

  “治理”

  測假能否跟上造假速度

  AI謠言日益增多，而治理體系卻陷入技術方法有限、法律滯后與社會認知撕裂的多重困境。

  政策層面，2022年11月，國家網信辦出臺《互聯網信息服務深度合成管理規定》，對深度合成內容的用途、標記、使用范圍以及濫用處罰作出了具體規定。2024年9月，國家網信辦發布《人工智能生成合成內容標識辦法（征求意見稿）》，進一步明確，無論文本、音頻、視頻還是虛擬場景，都必須“在適當位置添加顯著的提示標識”。

  但相關規定在現實執行中卻舉步維艱。南方+記者發現，當前，不少平臺對AI生成信息要么沒有提示，要么字體極小，有的審核機制滯后甚至“先發后審”，給謠言傳播留下了較大空間。

  在技術層面，多個平臺上線AI檢測工具，嘗試用AI打擊AI謠言。如2025年初，騰訊發布AI檢測工具“朱雀”AI大模型檢測系統，嘗試高效且精準地識別AI生成的文本與圖像內容。但對于海量生產的UGC內容而言，AI測假的能力還沒能跟上需求。

  而令人擔憂的是，隨著AI接受的基礎素材“投喂”越來越多，其生成的信息就會越來越逼真，相應的識別和打擊工作會更難。

  清華大學新聞與傳播學院副教授陸洪磊在近期舉行的一場論壇活動中表示，“AI謠言之所以傳播力如此強大，本質上還是遵循了這樣的傳播鏈條：語境適宜+主體持續+情緒投射+治理困境”。

  陸洪磊研究發現，現在生產端有了“工業化造謠”這樣的新現象，傳播鏈上人們也遭遇到了“情感劫持”，加上AI謠言自我迭代的“進化危機”，三重危機的夾攻之下，傳統辟謠手段在這種新形勢下變得難以招架。AI謠言治理從來都是很難依靠單一力量來完成，它需要聯動內外部建立謠言線索互通機制，和監管部門達成緊密的合作。

  對此，陸洪磊提出，應對AI謠言帶來的治理困境，需要構建一個“四位一體”的防御工事，即將“內容治理制度、內容審核、辟謠教育、內外聯動”一并納入AI謠言的識別及治理當中。

  首先，需要在解構AI謠言生產語境方面做一些建設，尤其是內容治理的制度性建設，包括搭建全題材謠言的知識庫，對于新發的虛假謠言內容進行前置攔截。

  其次，是遏制造謠主體持續傳播，不斷加強機器識別能力的同時加強人工審核，收嚴對AI生成內容的審核力度。

  再次，是阻斷謠言情緒傳播過程中，要加強辟謠的教育，提升公眾的“數字免疫力”。

  最后，是構筑一個協同治理的免疫系統。