AIGC-risk-audit

降 AIGC 率:12 组实测,和它们各自失效的地方

我们把十二种“降 AIGC 率”的做法在三个本地开源检测器上逐个测了一遍,最好的可交付配置(守卫拆句 + 逐篇回退)能让 31%/47% 的贴线段落掉到标记线以下,代价是文本必须逐段通读。但同剂量的随机字符替换降分是 156 对词表的两倍,任何大模型重写都把分数推高 0.24–0.30——“降分”这件事本身不携带信息,这批检测器的分数与可读性负相关到可以用随机字符复现。所以下面十二组数字的用处是筛掉无效做法,不是提供捷径。

这篇长文汇总本项目 2026-09 至 2026-11 的全部编辑实验。所有数字都能在仓库的 references/ 里找到对应的原始表格与复现命令。先说清楚一件事:下面所有”降分” 都是对三个本地开源检测器的分数,不是知网、维普、PaperPass 报告的百分比。 我们没有任何一家的现网成对数据,也不会替你预测。

如果你只有两分钟,看这一张表:

做法 实测结果(本地检测器) 代价
同义改写词表(156 对) 跨阈 42% / 53%,但同剂量随机替换能到 71% / 72% 词表不是杠杆,改了就降,改完不通
反向词表(改得更书面) 也降分,而且降得更多(−0.19 / −0.22) “人味方向”不成立
机械拆句 跨阈 55.6% / 75.7% 语法被切坏,降分是因为不通,不是因为像人写
拆句 + 四条守卫 跨阈 29.2% / 43.9% 可读;仍有 26%–38% 的段落反而升分
守卫拆句 + 逐篇复核回退 跨阈 31.3% / 47.3%,升分压到 4% / 0% 可读;这是我们能交付的最好配置
删”的” 跨阈 43.8% / 53.4% 语法被切坏
打乱句序 6.3% / 14.9% 行文被破坏;且说明检测器不看句序
让大模型按七条”去 AI 味”指令重写 升 +0.271 / +0.270,87% / 88% 的段落变差 越改越像 AI
只说”换一种说法” 升 +0.238 / +0.304 与上面几乎一样,说明起作用的是”被重写过”
长短句交替(抬高句长 CV) d_cmj +0.001、d_zhv3 −0.007(CI 含 0) 无可测效应;反向拉齐反而降分
每句讲清”谁在做什么”(缺主语检测) 人类 5.63 vs AI 5.02(每百分句) 不是 AIGC 信号,只是写作质量
删掉章节标题(不改正文) PaperPass 总体疑似度 97.16% → 100% 度量假象,越删越高

一、先搞清楚平台在算什么

不谈口径就谈”降率”没有意义。两个平台的口径我们拿到了一手材料:

知网:2025-10 的《人事论文评审服务平台使用手册》写明 AI 特征值 = AI 特征字符数 / 总字符数, 而且只有”AI 特征显著”的字符进分子,”疑似”不进。在能复算的两份 2026-01 公开报告里, 片段旁标注的百分比是该片段字符占全文的比例,不是”这个片段是 AI 写的概率”。 也就是说,你看到的数不是一段一段的置信度,而是字数加权。

PaperPass:2026-09 我们做过三次现网提交(同一账号、同一份稿子、报告编号可查)。 首页的”总体疑似度”等于页面上三个分档(高度/中度/轻度)占全文比之和; 而详细页给的是段落级分数,同段内 5–10 句共用一个分值和同一个 data-id。

第三条最值得记住:我们做了个成对对照——只删掉正文之外的四个章节标题(共 29 字), 正文一个字没改。结果:

原因是标题计入总字数却不计入任何片段的分值,删掉标题等于把分母变小、分子不变。 这是度量假象,不是稿子变得更像 AI 了。

所以第一个结论:在你动手改任何字之前,先确认你看的是哪个字段、哪个版本、 检测范围含不含参考文献。 学校的规定是学校自己的阈值,平台并不给”达标线”。


二、十二组实测

1. 词面替换有 4.8% 的天花板

最初的做法是等长同义替换(因此→所以、此外→另外…)。按目标剂量 2% / 4% / 8% / 12% / 20% 分别施加,实际只改到 2.1% / 3.5% / 4.7% / 4.8% / 4.8%——12% 和 20% 无处可改, 因为 170 字量级的段落里只有这么多位点。

分数几乎是平的:

目标剂量 实际达成 d_hello d_cmj d_zhv3
2% 2.1% −0.0600 −0.0104 −0.0082
8% 4.7% −0.1202 −0.0325 −0.0244
20% 4.8%(饱和) −0.1248 −0.0328 −0.0240

瓶颈是词表,不是剂量。 想突破只能扩表——而扩表这条路下一节就被证伪了。

顺便一个方向性观察:只往口语走(因此→所以)能改 1.7%,效应不低于混合表; 反方向(所以→因此)几乎找不到位点(0.4%),而且分数上升 +0.0045。 越书面越像 AI,这一条在后面的对照里反复出现。

2. 扩表不是杠杆:随机替换比词表更强

词表从 34 对扩到 156 对(按类别组织、允许不等长、加复合词守卫),然后在 376 篇 真实人写摘要的”贴阈值带”上,与两个对照比:

变体 剂量 d_cmj Δ d_cmj 跨阈 d_zhv3 Δ d_zhv3 跨阈
正向词表(156 对) 1.62% −0.161 41.7% −0.170 53.4%
正向词表(剂量对齐) 1.23% −0.133 38.9% −0.145 48.7%
反向词表(总的看→综上所述) 1.96% −0.189 53.5% −0.221 64.9%
随机字符替换(同剂量) 1.62% −0.307 71.5% −0.313 72.3%

单位剂量斜率(Δ ÷ 剂量):正向 −10.8 / −9.9,反向 −9.6 / −11.3,随机 −18.9 / −19.3。

三件事同时成立:

  1. 反向也降分,而且降得更多。把文字改得更书面、更冗长,检测器给的分更低。
  2. 正向与反向的斜率基本相同,差异在噪声内。
  3. 随机字符替换的斜率是它们的两倍。

也就是说,这批检测器的分数与文本可读性负相关到可以用随机字符复现的程度。 词表的价值不在”像人写”,而在它本来就是压缩冗词——这是编辑价值,不是分数价值。

分类型看也一样:11 个类别里单位剂量效应最高的是”冗余修饰”(−18.0), 但也只是勉强贴到随机替换的 −18.9。没有任何一类超过纯扰动基线。

3. 拆句最强,但一半效应是”把句子切坏”换来的

结构算子里,拆句(逗号改句号)效应最大。但在带宽语料上,盲目拆一切:

原:其教学强调经世致用,以"实学"为主,山长亲自为学生讲课。
改:其教学强调经世致用。以"实学"为主。山长亲自为学生讲课。   ← "以…为主"被切断

原:实验结果表明,该算法具有较高的搜索效率。
改:实验结果表明。该算法具有较高的搜索效率。                 ← 宾语句被切断

检测器给这种文本低分,是因为它不通了,不是因为它更像人写。这类降分没有使用价值。

加了四条守卫之后(引号括号内不断、左侧分句 ≥12 字、左段以带宾语谓词结尾不断、 右段以从属/介词/连词/副词开头不断),跨阈率从 55.6%/75.7% 降到 29.2%/43.9%, 文本可读;再加逐篇复核回退(改完重打分,不降就退回原文),升分率从 38%/26% 压到 4%/0%,跨阈率几乎不掉:

方案 d_cmj 跨阈 d_zhv3 跨阈 升分率 输出
盲目拆句 55.6% 75.7% 22% / 16% 语法被切坏
带守卫拆句 29.2% 43.9% 38% / 26% 可读
守卫 + 逐篇回退 31.3% 47.3% 4% / 0% 可读
无守卫阶梯 + 回退 81.9% 91.2% 2% / 0% 语法被切坏

最后一行是重要提醒:不加守卫能到 82%/91%,那是”把文本改烂”的上界。 它证明的是这批检测器高度可被操纵,不证明这么改有意义。

4. 效应只在”贴线”的段落存在,高分段为零

按各检测器基线三分位切开:

算子 d_hello 低/中/高 d_zhv3 低/中/高
拆句 −0.219 / −0.216 / −0.000 −0.099 / −0.002 / −0.000
删连接词 −0.132 / −0.107 / −0.000 −0.025 / −0.001 / −0.000
删”的” −0.119 / −0.003 / −0.000 −0.034 / −0.000 / −0.000

对已经落在高分段(≥0.9)的段落做任何编辑都是零效应——它们已经顶到天花板了。 所以”全文大改”这个思路本身是错的:值得动手的只有本来就贴着标记线的那一小部分。

5. 让大模型”去 AI 味”,是反向操作

抖音上那类”七条提示词”(通俗化、长短句交替、少引号、少”首先/其次”、少括号、 少空泛表达、讲清谁在做什么)我们做了三臂对照,每臂 60 篇真实摘要, 用会话模型(deepseek-chat,temperature=0)改写后逐篇重打分:

臂 检测器 n 改前 改后 Δ 95% CI 升分率
七条原样 d_cmj 30 0.564 0.835 +0.271 [+0.177, +0.353] 87%
七条原样 d_zhv3 34 0.590 0.860 +0.270 [+0.169, +0.359] 88%
逐条镜像(书面化/整齐/多用引号…) d_cmj 30 0.564 0.464 −0.099 [−0.222, +0.023] 40%
逐条镜像 d_zhv3 34 0.590 0.768 +0.179 [+0.067, +0.285] 76%
只说”换一种说法” d_cmj 30 0.564 0.801 +0.238 [+0.128, +0.335] 83%
只说”换一种说法” d_zhv3 34 0.590 0.893 +0.304 [+0.232, +0.365] 91%

七条指令与”什么都不要求、只换一种说法”没有区别(置信区间重叠,两臂都是 87%–91% 的段落变差)。反向臂也不自对称(d_cmj 略降但 CI 跨 0,d_zhv3 显著升), 说明”指令方向”不是这两个检测器共有的轴。

真正起作用的是“被大模型重写过”这件事本身。

(公平起见:三臂的字数比分别是 0.84 / 1.50 / 0.95,长度是混淆项;干净比较是 “七条 vs 只说换一种说法”,结论是无增益。)

6. 长短句交替:抬了没用,拉齐反而有用

“AI 写的句子长度太整齐”是流传最广的判断之一。我们把句长 CV(标准差 ÷ 均值) 当主指标,做了正向(抬高离散度)与反向(拉齐)两臂:

臂 ΔCV d_cmj Δ d_zhv3 Δ
抬高离散度 +0.018 +0.001 [−0.011, +0.013] −0.007 [−0.024, +0.010]
拉齐(反向) −0.020 −0.026 [−0.043, −0.011] −0.044 [−0.065, −0.025]

换每单位 CV 的效率看,方向完全反了:抬高 +0.04,拉齐 +1.27 / +2.18。

而且抬高离散度这件事在中文里极难做对——即使加了 60 个谓词黑名单,仍会造出 …传播基地。这里诞生了严复的第一个刊本,推进了西北地区维新运动。 这种无主语残句。 “逗号处断开是否成残句”需要句法分析,标点级守卫做不到。

7. “每句话讲清谁在做什么”不是 AIGC 信号

第七条是唯一没有对应检查器的,所以我们真的写了一个分句缺主语检测器, 然后在 616 篇文本上标定:

语料 n 均值(每百分句) p75 p90 有命中文档
人类(真实 CNKI 摘要) 376 5.63 10.00 18.18 36.4%
AI(本地生成摘要) 240 5.02 10.00 16.67 35.4%

人类与 AI 没有差异,分布几乎重合。 中文摘要本来就有大量承接上句省略主语的写法 (”提出了一种…方法”、”采用分光光度法测定…”)。这条是写作质量建议, 不能当作降分或识别的依据。工具输出里写死了这句话。

8. 检测器自己在真实人写上就不稳

扫描 2,560 条真实 CNKI 学术摘要(无 label):

检测器 均值 中位数 ≥0.5 占比 落在 0.4–0.8 带
d_hello 0.0525 0.0002 5.0% 0.23%
d_cmj 0.1318 0.0241 9.5% 8.2%
d_zhv3 0.2726 0.0809 23.8% 11.7%

按 5% 假阳性率校准阈值时,heldout 人类摘要的文档级误判率是 13.33% / 8.33% / 6.67%; 但用未校准的 0.5 阈值,d_zhv3 把 31.67% 的人类摘要判成 AI。 23.8% 与 31.67% 互相印证:0.5 这个阈值本身就不成立。

还有一个更直接的:某段 188 字,只做约 7 个字符的等长替换, d_cmj 从 0.999 掉到 0.187。这种量级的翻转说明这些检测器在单个样本上并不稳定, 分数不能当作”作者身份”的读数。


三、那还能做什么

按有效性排序,全部来自上面的实测:

  1. 先定口径,再谈分数。 记下平台、报告日期、送检版本、字段名称、检测范围。 同一份稿子在两个平台数值不同是常态,没有口径就没有比较。
  2. 只处理贴线的那一小部分。 高分段落别动——实测零效应。用本地工具找出 0.4–0.8 带的片段,其余全部放过。
  3. 只做可读的编辑。 守卫拆句 + 逐篇回退是我们能交付的最好配置 (跨阈 31%/47%,升分 4%/0%)。宁可少改,不要为了分数把句子切碎。
  4. 不要追”降分”,追”有依据”。 补真实的事实锚点(数字、专名、条件、适用边界) 是唯一不靠扰动取胜的方向;这也是唯一在评审那里站得住的方向。
  5. 让作者自己补,而不是让模型重写。 实测:任何模型重写都会把分数推高 0.24–0.30。
  6. 保留过程材料。 起草记录、版本历史、资料来源、实验记录、沟通记录—— 出现误判争议时,这些是唯一能提交的东西,分数不能。

具体命令见 README 的”快速开始”(大部分入口不需要任何模型)。 各类原始表格在:references/operator-effects.md(算子与剂量)、 references/direction-control.md(三组方向对照)、references/measured-baseline.md (人类基线)、references/platforms.md 与 references/platform-methods-research.md (平台口径)、references/appeal.md(申诉与举证)。


四、边界(比结论更重要)


所有数字的采集时间、脚本版本与文件哈希记录在 references/ 各文件的表头; 最后更新:2026-11-20。