ChatGPT幻觉又闯祸了：据媒体报道，美国律师 Stephen Aaron 在一起谋杀案上诉中，把 AI 生成的“摘要”直接写进法律文件，里面出现了捏造的警方证词和不存在的证人，法官对他处以 5000 美元罚款，并移交律师纪律委员会调查。这次 AI 编造的不是以往常见的“假判例”，而是“假证词”，性质更严重。
这件事给所有用 AI 处理正式文书的人提了个醒：AI 幻觉不是小毛病。下面把事件经过、为什么 AI 会编造证词、以及你自己该怎么避坑讲清楚。
发生了什么？律师用ChatGPT写上诉书被罚
据媒体报道，2026 年曝出的这起案件里，美国律师 Stephen Aaron 在一起谋杀案中为当事人代理上诉。他把一份由计算机生成的庭审记录和其他案卷材料输入 ChatGPT，希望 AI 帮忙整理出一份摘要，并且想当然地认为结果会“无懈可击”。
问题出在：他没有逐句核对，就把 AI 生成的内容写进了递交法院的上诉文件。文件里出现了根本不存在的警方证词，还有虚构出来的证人。法官看到后难以置信，反问他“没看新闻吗”——意思是 AI 会编造信息这件事，早就不是冷知识了。
最终，法官对 Aaron 处以 5000 美元罚款，并把他移交律师纪律委员会接受进一步调查。Aaron 本人的解释是，他确实不清楚 AI 工具会产生“幻觉”，也就是一本正经地虚构信息。截至 2026 年，这类因 AI 幻觉导致的法庭处罚已发生多起，但编造证词的案子依然少见。
AI幻觉是什么？为什么喂了真实材料还会编
AI 幻觉（AI Hallucination）指大模型生成看似合理、实则虚构的内容。ChatGPT 这类工具的本质是“预测下一个最可能出现的词”，它追求的是语言通顺、像那么回事，而不是事实正确。
很多人有个误区：既然喂给 AI 的都是真实庭审记录，输出总该靠谱吧？并不是，原因有三个：
- 摘要时会“脑补”：让它压缩长文档，它会把语气和细节重新组织，顺手补出原文没有的“合理”细节。
- 引用格式以假乱真：AI 很擅长模仿“证人某某在第几页说了某句话”这种格式，读起来和真的一模一样。
- 不知道的绝不承认：你问它原文没有的信息，它很少说“不知道”，而是直接编一个答案给你。
所以哪怕输入全是真实材料，输出依然可能掺假。这就是为什么在法律、医疗这类高风险场景，AI 只能当草稿工具，不能当定稿工具。
AI编造证词和编造判例有什么区别
过去几年，律师因引用 AI 编造的判例被处罚的新闻已经不少。本案特殊在：AI 编造的不是“不存在的案例”，而是“不存在的证词和证人”。两者性质差别很大：
| 对比项 | 编造判例（以往常见） | 编造证词（本案） |
|---|---|---|
| 编造内容 | 不存在的案例名称、判决编号 | 警方证词、虚构的证人 |
| 直接影响 | 引用无效、误导法律论证 | 直接扭曲案件事实认定 |
| 核查方式 | 判例数据库检索即可识破 | 必须对照原始庭审记录逐句核对 |
| 典型后果 | 罚款、纪律处分 | 罚款加纪律调查，还可能坑了当事人的上诉 |
简单说，判例造假坑的是“法律依据”，证词造假坑的是“案件事实”。后者在刑事上诉里性质更严重——一旦法官信了，可能直接影响判决走向，当事人可能被一份 AI 编的假证词送进监狱。
用ChatGPT处理法律文书有哪些风险
这件事给所有想用 AI 处理法律文书的人敲了警钟，风险其实不止幻觉一种：
- 虚构内容：假判例、假法条、假证词、假数据，防不胜防。
- 张冠李戴：把 A 案的事实套到 B 案，材料越多、摘要越长越容易混。
- 知识过时：法律条文会修订，AI 可能引用旧版本或从未生效的内容。
- 保密风险：把当事人案卷上传到公共 AI 工具，本身就可能触碰律师保密义务和隐私红线，这一点经常被忽视。
国内也一样。你用 AI 写合同、诉状、律师函，如果不核对就直接用，出了问题责任全在你自己——AI 公司不会替你担责，法官也不会接受“是 AI 写的”这种理由。
怎么避免AI幻觉？五条实用避坑建议
想用 AI 提效又不想踩坑，记住这五条：
- AI 只出草稿，不出终稿：任何要提交、要签字的内容，必须由人重写并确认。
- 逐条核对出处：凡是 AI 提到的案例、证词、数据、页码，回到原始材料里找到原文再引用。
- 让 AI 标注位置：处理长文档时，要求它给每条结论标注对应页码和段落，方便你抽查。具体方法可以参考AI 读 PDF 与长文档的实用技巧。
- 机密材料别乱传：涉及当事人隐私、商业机密的内容，不要直接丢给公共 AI 工具。
- 重要文书双人复核：一个人用 AI 写，另一个人对照原件核，幻觉很难逃过第二双眼睛。
如果你是刚接触 ChatGPT 的新手，建议先看看ChatGPT 新手入门与避坑指南，把“AI 会一本正经地胡说八道”这件事刻进脑子里，比学任何提示词技巧都重要。
这件事对国内AI用户有什么启示
对国内用户来说，这件事的价值不在吃瓜，而在校准你对 AI 的信任度。截至 2026 年，AI 幻觉问题在所有大模型上都存在，国产模型也不能幸免——区别只在于编造概率高低，不存在“零幻觉”的 AI。
日常场景里，AI 编个数据、编个文献，可能只是让你尴尬；但在合同、诉状、病历、财务报告这类正式文书里，编造内容的代价就是真金白银，甚至是法律责任。已有研究也显示，过度信任 AI 会削弱人的批判性思维，越熟练的用户反而越容易放松核对，这点在ChatGPT 批判性思维研究解读里有详细讨论。
一句话：把 AI 当助手，别当枪手。它产出的每一个字，最后都需要你来签字画押。
信息来源：Solidot 原文报道（律师在谋杀案中捏造证词，归咎于 ChatGPT）。
信息来源:www.solidot.org。本文为基于公开资讯的原创整理与解读,非原文转载。