![[AI 使用指南 #2] AI 为什么会一本正经地说谎？识别和应对幻觉的方法 封面图](/assets/images/posts/c6145b61-e8d2-4983-b19d-795cb10e3577/ai-hallucination-1.jpg)
我让 AI 调查资料，它给了我一份连论文标题和作者都列出的整洁清单，但搜索后才发现，这些论文根本不存在。如果你用过 AI，应该至少有过一次类似经历。这种 AI 把并非事实的内容生成得像事实一样的现象，称为幻觉（Hallucination）。本篇将总结幻觉产生的原因、哪些回答需要怀疑，以及如何减少幻觉。
幻觉不是 Bug，而是原理带来的副作用
正如第 1 篇所见，AI 不是寻找正确答案的机器，而是生成看似合理的下一个词的机器。但合理性和真实性是两种不同的标准。
在“关于 OO 的代表性论文是”这句话后面接上作者姓名和看似合理的论文标题，是很自然的。AI 会忠实遵循这种自然模式。如果论文确实存在，那当然最好；但当训练数据中没有准确的信息，或者信息模糊时，它就会生成格式完美的虚假内容。AI 学过无数种论文引用格式，所以格式像真的，只有内容是假的。
更麻烦的是它的态度。人们谈论不知道的事情时，会用“可能”“不太确定”来保留余地；但 AI 即使在编造内容，也会用充满自信的句子表达。由于语气的自信和内容的准确性彼此独立，不能仅凭语气筛出幻觉。
减少幻觉的努力仍在继续。训练模型在不知道时回答不知道的方向也越来越受到重视。不过，很难说“最新模型一定更不容易出错”。在开发者公开的评估中，也有新模型在人物和事实问题上反而比旧模型更频繁地编造答案。比模型代际更可靠的降幻觉方法，是提供后文将介绍的依据材料。无论如何，“现在的 AI 不会出错”是最危险的假设。
需要怀疑的 4 类回答
不可能生活在怀疑所有回答的状态中，因此了解容易产生幻觉的地方很实用。
**1. 具体的专有名词和数字。**论文标题、书籍页码、法律条款编号、统计数据和判例名称。格式看似合理，但是否真实存在是另一回事。尤其是要求“告诉我来源”时给出的来源，正是最常被编造的项目。
**2. 最新信息。**由于第 1 篇提到的知识截止时间，未经过网络搜索就回答的最新话题可能已经过时，或者是编造的。价格、日程和人事信息等经常变化的内容就是典型例子。
**3. 狭窄且冷门的主题。**训练数据丰富的主题（知名历史、广泛使用的技术）通常比较准确；而资料越少的主题（地区信息、公司内部术语、无名人物），越容易用想象填补空白。
**4. 被诱导的前提。**如果问题包含错误前提，例如“告诉我世宗大王扔智能手机的事件”，AI 可能不纠正前提，反而配合前提编造故事。问题越是自信，AI 就越容易顺着回答。现在的模型遇到这种知名例子时通常会纠正，但面对不熟悉的主题时仍可能顺着错误前提回答。
应对方法：降低验证成本
应对幻觉的基本策略不是“不相信 AI”，而是只验证出错后影响很大的信息。
**第一，开启网络搜索后再提问。**现在的 AI 服务都提供网络搜索模式。让 AI 根据搜索结果回答，可以大幅减少幻觉。更重要的是，你可以点击来源链接，确认它是否真的指向存在的页面。不过，链接能打开并不代表验证结束。还要确认页面上是否真的写了这些内容，因为链接可能是真的，但摘要可能是错的。
**第二，直接提供依据材料。**例如，要让 AI 总结合同，就附上合同文件。让 AI 根据你提供的材料而不是自己的记忆回答，是减少幻觉最可靠的方法。第 4 篇将详细介绍这一方法。
**第三，动摇它的自信。**如果回答很重要，可以追问：“真的吗？如果不确定，就说你不知道。”如果是幻觉，AI 往往会进行纠正。但这种方法也不完美，有时它会把正确答案纠正成错误答案。归根结底只是辅助方法。
**第四，根据用途调整验证力度。**如果是头脑风暴或撰写草稿，即使出现幻觉，影响也不大。相反，在合同、医疗、法律、投资等出错会造成损失的领域，只能把 AI 的回答当作起点，并务必与原文和专家确认。
总结
- 幻觉不是故障，而是“生成看似合理的句子”这一原理的副作用。
- 自信的语气不是准确性的证据。
- 对专有名词、数字、来源、最新信息和冷门主题尤其要保持怀疑。
- 通过网络搜索和附加资料补充依据，只验证重要信息。
讨论幻觉的结论不是“所以不要使用 AI”。了解幻觉的性质后，你就能看出哪些事情可以放心交给 AI。而在这条界限内提升产出质量的关键，是提问的方式，也就是提示词。下一篇将介绍让同一个问题得到不同答案的 4 个提示词基本功。