人們對生成式AI最大的誤解是，認為AI生成的內(nèi)容全是對的，不理解AI幻覺。

發(fā)布時間：2025-04-01作者來源：薩科微瀏覽：565

一、AI也會“一本正經(jīng)的胡說八道”

1、跟人一樣，“一本正經(jīng)地胡說八道”是AI的最顯著特征，產(chǎn)業(yè)界稱他為AI幻覺，不能認知到AI幻覺對人影響非常大的，把錯的認為是對的，把不存在的認為是存在的，你說害處有多大。
2、比如“誰贏得了1897年美國和南極洲之間的戰(zhàn)斗？”即使沒有這樣的戰(zhàn)斗，AI聊天機器人也可能會提供一個虛構(gòu)的答案，例如“1897年的戰(zhàn)斗是由美國贏得的，約翰·多伊將軍帶領(lǐng)部隊取得了勝利?！边@種AI編造信息“一本正經(jīng)地胡說八道”的情況屢見不鮮。

二、AI幻覺具有普遍性。

1、去年2月，谷歌發(fā)布的AI聊天機器人Bard在視頻中，對詹姆斯·韋布空間望遠鏡曾做出不真實陳述；3月，美國的兩名律師向當?shù)胤ㄔ禾峤涣艘环萦肅hatGPT生成的法律文書，這份文書格式工整、論證嚴密，但其中的案例卻是虛假的……

2、OpenAI研究人員雖曾在去年6月初發(fā)布報告稱“找到了解決AI幻覺的辦法”，但也承認，“即使是[敏感詞]的AI模型也容易生成謊言，它們在不確定的時刻會表現(xiàn)出捏造事實的傾向?！?br/>
三、AI幻覺源自AI本身

1、但受限于模型原理，如數(shù)據(jù)壓縮與重構(gòu)的固有缺陷。

2、從技術(shù)原理上看，AI幻覺多由于AI對知識的記憶不足、理解能力不足、訓練方式固有的弊端及模型本身技術(shù)的局限性導(dǎo)致。

四、AI幻覺尚難消除，只能抑制

盡管AI幻覺短期內(nèi)難以完全消除，但業(yè)界正試圖通過技術(shù)改進和監(jiān)管評估來緩解其影響，以保障人工智能技術(shù)的安全可靠應(yīng)用。

1、訓練上，高質(zhì)量數(shù)據(jù)和訓練方法

在預(yù)訓練方面，需增加知識密集的數(shù)據(jù)、高質(zhì)量數(shù)據(jù)的選取和過濾；微調(diào)強化學習過程中，選擇模型知識邊界內(nèi)的訓練數(shù)據(jù)極為重要；

2、推理上，引入檢索增強生成（RAG）知識庫，知識圖譜，推理生成過程中，可以采用檢索外部知識的辦法使得模型生成結(jié)果有證據(jù)可循。

3、人工審核與交叉驗證

對AI生成的關(guān)鍵信息（如數(shù)據(jù)、案例）通過搜索引擎或多源比對確認。

4、結(jié)合專業(yè)工具

使用內(nèi)置事實核查功能的AI工具，AI進行交叉驗證。

5、明確指令與場景限制

通過細化提示詞、提供上下文約束AI輸出范圍。

6、保持技術(shù)理性

將AI定位為輔助工具，而非決策主體，尤其在醫(yī)療、法律等高風險領(lǐng)域。

五、如何正確應(yīng)對AI幻覺？

AI的“幻覺”既是技術(shù)瓶頸，也是人類認知與機器交互的一面鏡子。理解其本質(zhì)并建立合理使用習慣，才能[敏感詞]化發(fā)揮AI價值，規(guī)避潛在風險。