先给结论
| 项 | 数字 |
|---|---|
| 调用次数 | 504(432 次基线 + 72 次对照) |
| 被测模型 | Kimi K3、GLM-5.3-Flash、DeepSeek V4.1 |
| 干净图最好成绩 | 95.8% |
| 强偏色后 | 62.5%(−29pp) |
| 只做输入校正 | +25pp,ΔE −62% |
| 训练成本 | 0 |
一句话:我没有训模型,因为答案不在模型里,在输入里。
一、为什么不做训练
| 理由 | 说明 |
|---|---|
| 模型闭源 | 三个都只有 API,没有权重 |
| 问题错位 | 要回答的是“现成模型能不能用”,训练会改掉前提 |
| 成本不对等 | 微调一次多模态模型的钱,够做几十次这样的评测 |
更关键的是:训练解决不了“输入脏”这件事。你把模型调到能认偏色图,换一个场景、换一种偏色,它照样失效。
二、实验怎么设计的
第一步:造尺子。 先用 colorcheck-pipeline 把色卡照片校正成标准色值,逐块算 CIEDE2000。单文件 1189 行,只用 numpy + Pillow,零 OpenCV。
第二步:造刺激。 用已知色值合成 24 色卡,施加 6 种退化:干净、轻偏色、强偏色、噪声、欠曝、JPEG q35。共 7 张图(含一张校正后),每张 24 个色块。
第三步:判分。 每次问模型:“第 R 行第 C 列是什么颜色?”要求从 24 个名称里选一个,并给出近似 hex。
- 名称对不对 → 准确率
- hex 和标准值差多少 → ΔE00
两套指标测两件事:分类能力和测量能力。
三、三个发现
1. 强偏色是共同的分水岭。
| 模型 | 干净 | 强偏色 | 跌幅 |
|---|---|---|---|
| Kimi K3 | 95.8% | 62.5% | −33pp |
| GLM-5.3-Flash | 83.3% | 41.7% | −42pp |
| DeepSeek V4.1 | 70.8% | 45.8% | −25pp |
2. 叫得准 ≠ 测得准。
Kimi 准确率最高(81.2%),但平均 ΔE 是 7.26,并不优于 GLM 的 7.05。它更擅长把颜色归到大类,说不出准确色值。
这意味着选型要分开看:做“红/橙”分类可以选它,做“色差是否超标”不行。
3. 欠曝比偏色更伤 ΔE。
Kimi 在欠曝下准确率还有 70.8%(灰阶还能蒙对),但 ΔE 从 2.45 涨到 17.25——色值彻底失真。
四、干预实验:只修输入会怎样
拿同一张强偏色图,先用 pipeline 校正(ΔE 6.78 → 0.56),再问一模一样的问题。模型、提示词、顺序全不变。
| 模型 | 校正前 | 校正后 | 提升 | ΔE |
|---|---|---|---|---|
| Kimi K3 | 62.5% | 87.5% | +25.0pp | 10.47 → 3.42 |
| GLM-5.3-Flash | 41.7% | 75.0% | +33.3pp | 10.28 → 4.73 |
| DeepSeek V4.1 | 45.8% | 62.5% | +16.7pp | 8.71 → 2.91 |
平均 +25 个百分点,ΔE 下降 62%。
一次校正的成本是一次矩阵运算,不到一秒。换一个更强的模型的成本是:重新集成、重新测试、重新谈价。
这就是“先修数据,再换模型”的量化版本。
校正也不是万能的:Kimi 校正后 87.5%,仍低于干净图的 95.8%。强偏色造成的高光截断不可逆,能救回大部分,救不回全部。
五、链路踩的五个坑(真实记录)
评测里最花时间的从来不是模型,是链路。
| # | 现象 | 原因 | 解法 |
|---|---|---|---|
| 1 | HTTP 402 余额不足 | Go 订阅走错通道 | 端点要加 /inference/go/ |
| 2 | HTTP 403 error code: 1010 |
Cloudflare 拦 Python UA | 换 User-Agent |
| 3 | HTTP 400 MissingSessionID |
缺会话标识 | 加 x-opencode-session |
| 4 | 200 但回答为空 | 思考 token 把预算吃光 | max_tokens 提到 2000 |
| 5 | 某些色块超长思考 | 推理无节制 | reasoning_effort: low |
第 4 条最隐蔽:返回 200、有 usage,但 content 是空字符串——不看 reasoning_tokens 根本发现不了。
六、这套方法能搬到别处
物理 ground truth + 受控退化 + 分层结论 → 选型 / 规范 / 护栏
换成 OCR(模糊、倾斜)、尺寸(透视、遮挡)、材质(反光),结构完全一样。
可复用的不是色彩知识,是这套“造尺子—造刺激—做对照”的结构。
七、我没做什么
- 没测语义理解、OCR、空间关系——只测颜色
- 没做重复性验证,每个条件只有 24 条样本
- 没锁定模型版本,结论只代表这次调用
- 没做真实拍摄集的验证,刺激图是合成的
这些“没做”比“做了”更该写出来,因为它们决定了结论能被引用到哪一步。
评测的价值不在于证明模型多强,而在于当有人问“要不要换模型”时,你能拿出一张对照表。