返回资料

评测的可信度来自哪里:一次把精确率改小的复盘

82.0% 不是我最好的数字,却是我最敢引用的数字。记录 124 条标注的逐条审计、6 条标反的修正,以及两条提召回路径为什么被证伪。

/LLM 评测 · 方法论 · 代码审查

相关作品:Code Review Agent:可信代码审查

先给结论

项 值
Precision / Recall / F1 82.0% / 51.2% / 0.63
混淆矩阵 TP=41、FP=9、FN=39、TN=35
数据集 124 条(80 正例 + 44 负例),全部逐条审计
判分 124/124,零跳过、零异常

这组数字比我半年前对外说的低:那时是 94.0%。低下去的原因不是模型变差,是我把自己标错的 6 条改了过来。

这篇写的就是:为什么改、怎么改、改完之后这套评测到底能证明什么。

一、为什么选「精确优先」

代码审查和搜索、推荐不一样:误报的代价高于漏报。

一条错误的“这里有 SQL 注入”,会让 Reviewer 花二十分钟确认它是假的,然后开始不信任所有结论。所以策略定成“只报有把握的问题”——宁可漏,不可吵。

代价很直接:召回率上不去。这一点在项目里是明确写下来的产品决策,不是事后解释。

二、124 条标注是怎么来的

被测项目是第三方仓库 llm-agent-qa-system,我从里面挑真实缺陷做标注,每条标注带文件、行号、类型、严重度和一段判据说明。

数据集经历了五次修订:

版本 正例数 变动原因
v1.0.0 108 初始标注
v1.1.0 81 27 条描述的缺陷在代码里已不存在
v1.2.0 84 3 条被判定仍含其它真实缺陷,收回
v1.3.0 78 逐条审计,6 条改判为负例
v1.4.0 80 补完 #85–124 审计,2 条 docstring 陷阱改回正例

跨版本的数字不能相减。 分母从 108 变到 80,召回率的含义已经变了。这一点我写进了 README、基线文档和产物 meta 里,因为它是这类评测最容易被误用的地方。

三、判分怎么保证不是自说自话

三个约束:

  1. 逐样本判定,不是整体打分:每条样本单独问“这个位置是否真的存在该缺陷”,输出 YES/NO 和理由。
  2. 判据固定为 strict,上下文窗口固定 ±15 行。改判据就等于换了一把尺子,必须重新记录。
  3. 温度 0、高强度思考,减少同一条样本两次判定不一致。

产物落在 tests/eval/replay_baseline.json,里面记了数据集版本、接受时间,以及哪些字段是事后推断的——这条比数字本身更重要,因为它让后来的人知道哪里不能全信。

四、把 94.0% 改成 82.0%

v1.3.0 的审计做了一件不讨喜的事:逐条回看每条 TP 的原始判定。

结果发现 6 条标注标反了:模型的原始回答是 YES,被算成命中;但人工复核认为那个位置并不构成缺陷,所以它其实是一次误报。

修正后:

  • Precision 94.0% → 82.0%
  • Recall 56.0% → 51.2%
  • 混淆矩阵从 TP=47/FP=3 变成 TP=41/FP=9

这个改动让我的项目看起来变差了。 但如果留着 94%,任何一次外部复核都会把结论推翻——而且会连带推翻我说过的所有其它数字。

五、两条提高召回的路,都被证伪

召回只有 51.2%,第一反应是“提示词没调好”。我试了两条路:

路径 A:放宽判据,让模型把“可能有问题”也报出来。

结果召回不升反降:38.5% → 23.1%,丢了 8 条原本正确的检出。原因是判据一松,模型的注意力被低价值问题占满,真正的高危反而被淹没。另外 2 条“改善”经核查来自已经失效的标注。

该对照实验在旧批次上完成,数字不可与当前基线相减。

路径 B:开放式枚举,不给固定类别,让模型自由列问题。

同样无法召回。模型输出的类别漂移,判分无法对齐。

两条路走完,结论是:这不是提示词问题,是判据口径问题——39 条漏报里,30 条是“模型认为不值得报、而标注标准认为该报”的分歧,只有 7 条是模型真的判断错了。

所以最终选择是:接受 51.2%,把口径写清楚,而不是用放宽标准换一个好看的数字。

六、分层看,比总平均有用

严重度 正例 检出 召回
High 4 4 100%
Medium 17 9 53%
Low 59 28 47.5%

“高危不漏、低危漏多”——这才是这个系统真实的能力形态。总平均 51.2% 会让人以为它只能发现一半问题,实际上高危是全覆盖的。

但这里有个必须自己说破的坑:4/4 的 95% 置信区间下界只有约 51%。样本量太小,“100%“只是一个点估计,不能对外承诺。所以我在作品页写的是”当前 4/4”,不是“保证 100%”。

七、这套评测能证明什么

能证明:

  • 在同一数据集、同一判分口径下,模型能力的可复算读数
  • 错误构成:39 条漏报里各有多少是判据分歧、多少是能力问题
  • 改进是否真的有效(而不是换了尺子)

不能证明:

  • 跨仓库泛化——只有这一个项目
  • 与公开 benchmark 横比——这是自建标注,不是 SWE-bench
  • 真实用户价值——没做客户试点,也没有 ROI 数据

把“不能”这一栏写出来,比把“能”那一栏写长更有用。

八、如果重来一次

  1. 先定口径,再跑模型。 我先跑了模型再补判据,导致早期数字全部作废。
  2. 标注双人复核。 6 条标反如果有第二个人看,不会拖到 v1.3.0 才发现。
  3. 把“不可比”写进产物里,而不是写在 README 的脚注。人不会读脚注,但会读 JSON 字段。

评测的价值不在于数字好看,而在于别人能复算、能质疑、能推翻。82.0% 是我目前最敢引用的数字,因为它经得起这三种动作。

完整口径见仓库文档 eval-baseline.md。