本文译自 kikomono.com 英文原文《AI detector accuracy: check the false-positive rate before you trust the score》，作者 Rita。原文链接：https://kikomono.com/ai-tools/check-ai-detector-accuracy-before-trusting/
厂商广告说准确率 99%。独立测试里，没有一款检测器超过 80%，误报最重地落在非母语写作者身上。检测分数只是一个值得核查的信号，绝不是可以单独作为依据的结论——而核查只要五分钟。
一句话答案
AI 检测器量的是文章看起来有多“可预测”，而不是谁写的它。厂商在干净、未经编辑、单一模型写成的文本上测试，报出 98%–99.9% 的准确率；同行评议的测试用的是真实写作——混合、编辑过、改写过、篇幅短、格式固定——没有一款工具超过 80%。差距在利害最大的地方最要命：2023 年斯坦福的一项研究发现，GPT 检测器把约 61% 的非母语英语写作者的文章标成了 AI 生成。在一个分数决定一个人的命运之前，先查误报率，拿自己知道是人写的文本跑一遍同一款工具，再要过程证据。Turnitin 自己也说，它的百分比不应该作为采取行动的唯一依据。
厂商的说法——2026-11-10 核查
课堂上最常见的两款检测器，官方页面上给出的是两种很不一样的承诺。
Turnitin：误报率低于 1%，但有前提
Turnitin 官方 FAQ 说，对于 AI 写作占比超过 20% 的文档，它的误报率——把人写的文本错标为 AI——保持在 1% 以下：大约每 100 篇纯人写文档里错标 1 篇。每次模型更新或新版本发布前，它会在 70 万篇以上 ChatGPT 出现之前写的学术论文上加测。这个承诺里藏着两个条件。第一，低于 20% 的分数根本不显示百分比：只显示一个星号，不带数字。第二，Turnitin 明确说，这个百分比不应该作为采取行动或最终评分的唯一依据，它也不对是否违规下结论。同一份 FAQ 也坦白了取舍：把误报压得这么低，意味着一些 AI 写的文本会漏网。
GPTZero：99.9% 准确率，附带同样的警告
GPTZero 自己的页面宣称，识别 AI 生成文本对人写文本的准确率为 99.9%，漏报率低于 2%，误报率低于 1%，混合文档（人写与 AI 写作混合）准确率 96.5%。同一页上也写着最关键的一句：没有一款 AI 检测器是 100% 准确的，结果不应该用来惩罚人，也不应该作为最终结论。
换句话说，两家厂商都卖一个近乎完美的数字，然后警告你别把它当完美数字用。看警告，别看标题。
独立测试发现了什么
厂商的数字来自厂商自己的测试集、按厂商自己的条件测。独立研究者测的是看起来像真实写作的文本，数字就掉下来了。
14 款工具，没有一款超过 80%。Weber-Wulff 等人（2023 年，《国际教育诚信期刊》）测试了 14 款检测工具对人写和 AI 生成文本的识别。没有一款工具准确率超过 80%，只有 5 款超过 70%。测试集上的误报率从 0%（Turnitin）到 50%（GPTZero）不等。机器改写——把 AI 文本过一遍改写工具——把准确率压到了 26%。
非母语写作者被标得最多。2023 年斯坦福的一项研究（Liang 等人，发表于《Patterns》）用 GPT 检测器测非母语英语写作者的文章，发现约 61% 被标为 AI 生成，而母语写作者的文章误报接近于零。格式固定、谨慎、语法规整的散文在检测器看来就是可预测的——而可预测正是检测器判定为 AI 的标准。这种偏见是结构性的，不是一家工具的 bug：检测器奖励的是特异性，而用第二语言写作的学习者，恰恰因为写得规范而被罚。
OpenAI 关掉了自己的检测器。最有力的证据来自造出被检测模型的公司本身。OpenAI 在 2023 年 1 月推出 AI 文本分类器，2023 年 7 月 20 日下线，理由是准确率低。按 OpenAI 自己的数字，它只把约 26% 的 AI 文本正确识别为“可能由 AI 生成”，还把约 9% 的人写文本错标为 AI 生成。连 ChatGPT 的制造者都造不出可靠的检测器来检测自己的模型，任何一家宣称 99% 的说法都值得再看一眼。
为什么厂商的数字和真实数字不一样
差距不是谎言，而是测的东西不一样。厂商的基准测试用的是长篇、干净、未经编辑、一次写成、单一模型生成的段落。真实写作没有一样符合。
- 混合写作打乱模型。一个学生先用 AI 起草，再手工改写一半句子，写出的文档是任何基准测试里都没有的。GPTZero 宣称混合文档准确率 96.5%；独立测试里整个类别的数字要低得多。
- 编辑看起来像规避。改写、翻译或大幅修订 AI 文本，改变的正是检测器测量的概率模式。Weber-Wulff 的测试发现，仅改写一项就把准确率压到了 26%。
- 短文本信号太少。Turnitin 不处理少于 300 词散文的文档，低于 20% 的分数完全不显示。短作业正是检测器最没把握、最容易出错的情形。
- 格式化的写作看起来像人工。实验报告、法律套话、五段式议论文，本来就是按固定格式写的。给可预测性打分的检测器，会先标最规范的写作——这就是非母语写作者被标得最多的原因，他们写得更规整。
检测器只回答一个很窄的问题：这段文本在统计上像不像模型的输出？作者是谁、意图是什么、过程是怎样的，都是另外的问题，没有分数能回答。
信分数之前的五分钟检查
在任何分数被拿给学生、经理或客户看之前，先做这套检查。不用付费套餐，不用专业知识。
- 拿已知是人写的文本跑同一款工具。拿一篇你确定是人写的文章、报告或邮件——自己的旧作最理想——跑一遍检测器。如果干净的人写文本分数高于零，你刚刚就测出了这款工具在你这类文本上的误报率，而这个数字是你下一个决定唯一需要的数字。
- 把被标的段落再跑一遍另一款检测器。两款工具一致仍然不是证据，但两款工具不一致，说明第一个分数很脆弱。一个换工具就翻盘的结论，从来就不是结论。
- 查分数藏起来的条件。文本有多长？Turnitin 跳过少于 300 词散文的文档。分数低于 20% 吗？Turnitin 在那里根本不显示百分比，是有原因的。作者是不是在用第二语言写作？那就适用斯坦福的研究结果，分数要打更大的折扣。
- 要过程，不要认罪。草稿、版本历史、笔记和搜索记录能说明文档是怎么写出来的；检测分数只能猜它读起来像什么。英文原文中的教案规划指南和英文原文中的教师免费工具都内置了草稿检查点，正是这个原因：过程证据可以核查，分数不能。
- 定好分数能做什么、不能做什么。高分是找作者谈一谈、看看过程的理由，不是挂掉一份作业、拒绝一份申请或指控一位同事的理由。GPTZero 在自己的网站上这么说，Turnitin 在自己的 FAQ 里这么说。厂商自己都不肯把这个数字当作结论来背书，你也不应该。
检测器在什么时候仍然有用
检测器是分流工具，不是法官。当分流工具用，它确实有价值：从一百份提交里挑出值得细看的几份；开启一场关于 AI 使用的对话，这是光靠政策开启不了的；再结合草稿和版本历史，它能印证过程证据已经指向的东西。失效模式从来不在工具本身，而在于把概率当作定论。把分数留在它的位置上——一个促使调查的提示，用人能实际核查的证据来回答——它就配得上它的位置。把它提拔成法官，它迟早会标错人，最可能标错的，是那个用非母语写得最认真的人。
常见问题
AI 检测器有多准？
厂商的说法是 98% 到 99.9%，但同行评议的证据要低得多：2023 年一项测试了 14 款检测工具的研究发现，没有一款准确率超过 80%，机器改写把准确率压到了 26%。把任何准确率数字都当作“针对干净测试集”的说法，而不是针对你的文档的说法。
AI 检测里的误报是什么意思？
误报是人写的文本被标成 AI 生成。Turnitin 的目标是把 AI 写作占比超过 20% 的文档的文档级误报率控制在 1% 以下，每次模型更新前在 70 万篇以上 ChatGPT 出现之前写的学术论文上测试。2023 年斯坦福的一项研究发现，GPT 检测器把约 61% 的非母语英语写作者的文章标成了 AI 生成。
OpenAI 为什么关掉自己的 AI 分类器？
OpenAI 在 2023 年 7 月 20 日下线了 AI 文本分类器，理由是准确率低。按 OpenAI 自己的数字，它只把约 26% 的 AI 文本正确识别为“可能由 AI 生成”，还把约 9% 的人写文本错标为 AI 生成。
检测分数能证明学生用了 AI 吗？
不能。Turnitin 自己的 FAQ 说，AI 写作指标上的百分比不应该作为采取行动或最终评分的唯一依据，Turnitin 也不对是否违规下结论——它提供数据，由教育者决定。分数是一个开启对话的信号，不是结论。
信分数之前，怎么检查一款检测器？
先拿你知道是人写的文本跑一遍——自己的旧文章、同事的草稿——看它能不能保持干净。再把同一段文字跑一遍另一款检测器，对比结果。查分数藏起来的条件：Turnitin 不处理少于 300 词散文的文档，低于 20% 不显示百分比。最后再要过程证据——草稿、版本历史、笔记——然后再对任何数字采取行动。
来源与核查范围
上文厂商的说法均于 2026-11-10 在各家自己的页面上读到：Turnitin 的 AI 写作检测 FAQ（AI 写作占比超过 20% 的文档误报率低于 1%；发布前在 70 万篇论文上测试；低于 20% 的分数不显示百分比；不作为采取行动的唯一依据），以及 GPTZero 的官方页面（99.9% 准确率、漏报率低于 2%、误报率低于 1%、混合文档 96.5%；结果不应用于惩罚）。独立研究结果来自 Weber-Wulff 等人（2023 年，《国际教育诚信期刊》：14 款工具，没有一款准确率超过 80%；误报率 0%–50%；改写把准确率压到 26%）、Liang 等人（2023 年，《Patterns》：约 61% 的非母语英语文章被标错），以及 OpenAI 自己发布的 AI 文本分类器下线说明（2023 年 7 月 20 日；检出率 26%，误报率 9%）。本文不含联盟链接。配套检查见英文原文中的 AI 引用检查和英文原文中的免费 AI 工具总览。
发表回复