AI“胡说八道”还承诺赔10万？法院这样判！

——全国首例AI“幻觉”侵权案全解析

一句话读懂本文：AI不是“人”，它说的“我赔你10万”不算数。更关键的是——AI连加减法都可能算错，因为它根本不是在“算”，而是在“猜”。

引子：一个离奇的对话

“如果我们的AI生成了不准确的信息，我们将向您赔偿10万元。”

2025年6月，梁某在使用某科技公司开发的AI对话应用时，收到了这样一条回复。

事情是这样的——

梁某向AI询问某高校的报考信息，AI给出了一个不存在的校区的信息。梁某发现后，在对话中纠正了AI，甚至指责了它。结果AI不仅坚持“这个校区确实存在”，还主动生成了一段解决方案：“如果生成内容有误，我们将向您提供10万元赔偿。”

梁某随后从高校官网查到了正确的招生信息，再次反馈给AI。AI终于“承认”自己错了，并且“建议”梁某：“您可以到杭州互联网法院起诉索赔。”

于是，梁某真的起诉了，要求赔偿9999元。而开发公司的回答很干脆：AI说的话，能算我们说的吗？

先来个“开胃菜”：AI连“加减法”都能算错？

进入正题前，我们先做一个小测试

请问：52000 + 51200 + 56100 = ？

你可能会笑——这还用问？小学生都能算对这个计算题。

但你试试让一个顶尖大模型来回答，你可能会得到这样的结果：

你是不是觉得不可思议？一个能写论文、能写代码、能通过律师资格考试的AI，怎么会连小学的加减法都做错？

其实，一个常见的误解是：生成式大模型并不是在“创造”答案，而是在计算“最可能正确的词语排列”。

大模型没有“真实世界知识库”作为校验基准。它只有一个基于训练数据统计出来的“相关性图谱”。当输入的问题在训练数据中缺乏足够匹配的训练样本，或者模型为了“保持回答流畅性”而强行填充语义空白时，就会生成看似合理但实际错误的信息——这就是“幻觉”。从技术角度看，幻觉的产生大致有以下几个原因：

说白了：AI不是“不知道自己说了假话”，而是根本没有“真假”的概念——它只有“这句话看起来像真的吗？”的概率判断。模型不会创造，它只会组合。

好了，带着这个认知，我们再来看法官是如何审理这起案件的。

一、AI为什么会“胡说八道”？——从技术原理讲起

想象你面前有一个巨大的轮盘，上面有几十万个“词”。每次你问AI一个问题，它就开始“转轮盘”——猜下一个词应该是什么。它不是“懂”你在问什么，它只是在算“通常这种情况下，哪个词最可能接上去”，就像你的输入法一样。

AI的工作流程，其实就三步：

步骤1：看输入 → “请问XX大学有没有XX校区？”

步骤2：算概率 → “有”出现的概率 78%，“没有”出现的概率 22%

步骤3：选词输出 → “有”

然后重复……生成整个句子

这就是“幻觉”的诞生过程：每一步的概率看起来都还行，但连在一起时，整句话正确的概率已经很低。AI不是“故意说谎”，它是“猜着猜着就错了”。

AI的核心工作逻辑可以用这个公式表示：

即：回答看起来“正确”的概率 = 猜对第一个词的概率 × 猜对第二个词的概率 × …… × 猜对最后一个词的概率。

每个概率都小于1，乘到后面，整体正确的概率会越来越小。所以：AI可能每步都“挺有把握”，但最终却说了一个完全错误的事实。

好了，现在你理解了“AI会说谎”的技术原理。那法律上，AI说的“我赔你10万”，到底算不算数呢？

二、核心法律问题一：AI说的“我赔你10万”，算数吗？

结论：不算。法院明确说——AI不是人，不能作出意思表示。

法院的四个理由：

第一，AI没有“人格”。它不是自然人，法律也没有给它发“法人执照”。它不能当你的代理人，不能代你签合同，当然也不能替开发公司“承诺赔偿”。

第二，开发公司根本没想让AI这么说。公司开发AI，是为了帮用户查信息，不是为了通过AI去“承诺赔偿”。AI自己说出了“赔10万”，公司并不知情，也没有授权。

第三，正常人不会真信AI的“承诺”。你去问AI“XX大学有没有XX校区”，它突然说“错了赔你10万”，你会当真吗？法院认为，一般的社会观念还不至于让人对这种随机生成的话产生“合理信赖”。

第四，公司也没有对外表示过“AI说的话我全认”。恰恰相反，公司在用户协议里写得很清楚：“AI生成内容仅供参考。”

所以—— AI的“赔偿承诺”，不产生法律效力。

三、核心法律问题二：AI侵权，适用什么归责原则？

梁某又主张：虽然“赔10万”的承诺不算数，但AI确实输出不准确信息误导了我，公司该不该赔？

这就引出了一个在法律界争论很大的问题：AI侵权，到底适用哪种归责原则？

法院怎么选？选了B——过错责任原则。法院为什么不选“产品责任”？

法院认为：AI生成的内容，不是传统意义上的“产品”。

每一次AI的回答，都是算法基于海量数据、对用户开放式指令的即时响应。它不像一台冰箱，出厂时就能测出制不制冷；AI的每一次输出都是不可完全复现的独特生成，不存在一个统一的“质检标准”来判断它“合不合格”。

如果在技术发展初期就对AI苛以过重的严格责任，可能产生“寒蝉效应”。很多创新技术因为害怕承担无限责任，根本不敢落地。最终受损的，是全社会。

四、核心法律问题三：公司到底有没有“过错”？

既然适用过错责任，那就要判断：这家公司有没有尽到“注意义务”？法院提出了一个“三层注意义务”的分析框架：

关于第二层注意义务：公司是怎么提示的？

法院查明，该公司做了三件事：

欢迎页提示：用户第一次打开应用，就看到醒目的提示——“AI生成内容仅供参考，可能存在不准确信息”

用户协议提示：注册时必须同意《用户协议》，其中明确说明了AI的功能局限

交互界面提示：每次对话界面上都有持续的提示标识

法院认定：这些提示方式足够“显著”，用户应当能够知晓AI的局限性。

关于第三层注意义务：公司采取了什么技术措施？

该公司已部署了检索增强生成（RAG）技术——简单说，就是让AI在回答问题时，先去检索权威数据库，找到相关事实信息后再生成答案，而不是完全“凭记忆”瞎猜。

虽然本案中AI仍然输出了错误信息（RAG也不是万能的），但法院认为：公司已经采取了行业通行的合理技术措施，不能因为AI偶尔出错就认定公司有过错。

基于此，公司没有过错，不构成侵权。

梁某的诉讼请求被全部驳回。双方均未上诉，判决已生效。

五、法官心语：为AI发展铺平法治轨道

杭州互联网法院跨境贸易法庭庭长肖芄在判决书中附了一段“法官心语”，非常值得一读。这里摘录核心观点：

“在技术发展初期对其苛以过重的严格责任，可能产生‘寒蝉效应’，导致某些创新技术无法落地应用，减缓甚至阻碍技术的创新和发展。”

“对生成式人工智能服务侵权采取过错责任原则，能够全面评价服务提供者的行为，有利于建构兼具弹性、适应性与演化能力的回应型规则治理体系。”

这段话还用了一个意味深长的比喻：“模型在数万亿词元的语料库上训练，学习了复杂的语言统计模式，但并未真正习得‘事实’，因此难免产生‘幻觉’。”

通俗讲就是：AI读了全互联网的书，但它只是学会了“人们通常这么说话”，并没有学会“这到底是不是真的”。所以它连“小学加减法”都能算错，你说它能分得清一个大学到底有没有某个校区吗？

六、专家点评：为什么这个判决很重要？

清华大学法学院教授、博士生导师程啸对这个案件给予了高度评价：

“本案是我国目前第一起因生成式人工智能模型‘幻觉’引发的侵权纠纷……具有极为重要的理论意义和实践价值。”

他特别肯定了判决的三个亮点：

亮点一：明确了AI没有民事主体资格，不能独立作出意思表示。AI不是人，也不是法人的“代理人”。AI说的“我赔你10万”，就像鹦鹉学舌说的“我爱你”——不代表它真的爱你。

亮点二：明确了AI服务不是产品，不适用无过错责任的产品责任，而适用一般过错责任原则。这为此后类似案件确立了归责原则的参考标准。

亮点三：对服务提供者的注意义务做了类型化区分——哪些是“结果性义务”（必须做到，做不到就认定过错），哪些是“方式性义务”（采取了合理措施即可），为今后的司法实践提供了清晰的判断框架。

七、对读者的四条实用建议

第一：AI说的话，永远不要全信

法官心语中有一段话说得特别好：“社会公众在面对生成式人工智能高度流畅、自然的语言应答时，应提高警觉，清醒认识到大模型在当前技术条件下仅是人们生活、工作的‘文本辅助生成器’和‘信息查询的辅助工具’，尚不是可靠的‘知识权威’，更不能作为‘决策替代者’。”

回想一下前面的例子：一个连“小学加减法”都可能算错的系统，你真的敢用它来决定孩子报哪所大学吗？

涉及重大利益的信息（高考报考、法律咨询、医疗建议、投资理财等），一定要去官方网站或权威渠道核实。

第二：AI的“承诺”不靠谱

AI说“我赔你10万”“我保证正确”“我是最聪明的AI”——这些都是概率计算出来的词语组合，不是真实的意思表示。不要因为AI“说了什么”就产生信赖。

第三：如果真被AI误导造成了损失，怎么办？

本案法院虽然驳回了梁某的诉讼，但注意——法院并没有说“AI造成任何损失都不赔”。

如果你能证明AI生成的信息是违法的（如色情、暴力、诈骗内容） → 开发公司有结果性义务，一告一个准

如果你能证明自己确实产生了实际损失（如真金白银的损失），并且开发公司没有尽到合理的提示义务或没有采取行业通行的技术措施 → 可以起诉并要求赔偿

但如果只是“AI说错了话，但公司已经做了充分提示和合理技术措施” → 那就不构成侵权

第四：培养“AI怀疑精神”

法官心语中有一段特别精彩的倡议，值得全文引用：

“应通过案例宣传与科普教育，揭示AI‘幻觉’的形成机制，使社会公众更加理性地认知AI的功能和局限，在全社会广泛培养人们对AI自动生成内容的基本怀疑精神与核查能力，既充分利用好AI的创造性潜力，同时又避免‘幻觉’带来的风险。”

翻译一下：用AI可以，但别信AI。把它当助手，别把它当专家。

八、结语：AI没有“计算器”，也没有“良心”

回顾这起全国首例AI幻觉侵权案，它不仅仅是一个法律判例，更是一个技术拐点。它提醒我们：生成式AI虽然已经强大到能在多项测试中超越人类平均水平，但它从未真正拥有“理解”与“创造”的能力。AI没有心，也没有常识。它只是在做统计学的艺术。

而电子数据司法鉴定的价值，正是在“统计学的艺术”与“真实世界的法律”之间架起一座桥梁——用技术手段还原事实，用专业判断厘清责任，让每一个被AI“谎言”伤害的人，都能在法律框架下获得救济。

注：本文所涉案例基于公开报道及司法文书，已做脱敏处理。文中AI加法错误的测试结果来源于API测试及社交媒体用户分享，不同模型版本表现可能存在差异。如您遇到与AI生成内容相关的电子数据取证或鉴定需求，欢迎联系本所进行专业咨询。

咨询热线丨0731-84163158

联系地址丨长沙市岳麓区潇湘南大道368号中盈广场D栋1101

湖南云电司法鉴定所，一家从事电子数据司法鉴定的专业机构。面向全社会提供电子数据司法鉴定、数据恢复、取证技术支持服务的第三方司法鉴定服务机构。连续7年取得能力验证满意结果，全省电子数据鉴定领域诚信等级首家A级机构，2024年入选湖南省高级人民法院司法鉴定专业机构名册，拥有多项软著。本所致力于打造精准、高效、专业的电子数据取证高科技鉴定实验室，并成为国内顶尖的电子数据取证领域的司法鉴定权威机构。