作品 · 2026
ColorCheck Probe.
用 CIEDE2000 给多模态模型量一量:照片偏色、欠曝、压缩之后,它还认得出颜色吗?
3 个模型 × 144 张受控图;另做 72 次「校正前 / 校正后」对照。全部数据与脚本可复算。
01问题
多模态模型正在被大量用于「看图」的场景:商品主图、设计稿比对、质检初筛。颜色是这些场景里少数能用物理量衡量的维度,但绝大多数评测用的是自然图片加人工标注,缺少一把可复现的尺子。
所以问题不是「模型认不认得颜色」,而是两个更具体的:偏色、欠曝、压缩之后,它的判断会退化多少?以及要提升,应该修输入还是换模型?
02做法
先造一把尺子
colorcheck-pipeline 把 24 色卡照片校成标准色值,逐块给出 CIEDE2000。单文件 1189 行,只用 numpy + Pillow。
再造成受控刺激
用已知色值合成色卡,施加 6 种退化:干净、轻偏色、强偏色、噪声、欠曝、JPEG。ground truth 是物理量,不是人工标签。
最后用 ΔE 打分
每次让模型报出颜色名和近似 hex:名字算准确率,hex 换算成 ΔE00。两套指标分别测「分类」和「测量」。
03结果
同一批 144 张图,三个模型的准确率。行是模型,列是退化条件。
| 模型 | 干净 | 轻偏色 | 强偏色 | 噪声 | 欠曝 | JPEG | 总体 |
|---|---|---|---|---|---|---|---|
| Kimi K3 | 95.8% | 91.7% | 62.5% | 83.3% | 70.8% | 83.3% | 81.2% |
| GLM-5.3-Flash | 83.3% | 79.2% | 41.7% | 75% | 70.8% | 70.8% | 70.1% |
| DeepSeek V4.1 | 70.8% | 70.8% | 45.8% | 79.2% | 45.8% | 62.5% | 62.5% |
表 1 · 24 选 1 色名准确率,每格 24 条样本;随机水平约 4%
强偏色是所有模型的共同分水岭:最好的 Kimi 也从 91.7% 掉到 62.5%,另外两个直接掉到 42–46%。
叫得准不等于测得准。Kimi 准确率最高(81.2%),但平均 ΔE 7.26 并不优于 GLM 的 7.05——它更会把颜色归大类,说不出准确色值。
欠曝对 ΔE 伤害最大:Kimi 从 2.45 涨到 17.25。它还能蒙对「都是灰」,但具体色值已经完全失真。
04干预:修输入还是换模型
拿同一张强偏色图,先用 colorcheck 校正(ΔE 从 6.78 降到 0.56),再问同样的问题。模型、提示词、问题顺序全部不变。
图 1 · 上条为校正前,下条为校正后;数字为色名准确率
三个模型平均提升 25 个百分点,平均 ΔE 下降 62%。模型一个没换,提示词一个字没改——收益全部来自输入治理。
校正后仍有差距:Kimi 87.5%,低于干净图的 95.8%。因为强偏色造成的高光截断不可逆,校正只能救回大部分,不能全救。
05三个决定
数据能支撑的不只是「哪个模型好」,而是三个可以写进需求文档的判断。
选型:先看退化条件,再看平均分
Kimi K3 在 6 个条件里赢了 5 个,但强偏色下跌到 62.5%、ΔE 10.47,和另外两个没有数量级差距。选型时应该问「我的场景最怕哪种退化」,而不是「谁的总分高」。
依据:分条件准确率与 ΔE
输入规范:曝光和白平衡比模型更值钱
强偏色让最好的模型掉 29 个百分点,欠曝让 ΔE 从 2.45 涨到 17.25。约束拍摄条件比换模型便宜得多,收益也更确定。
依据:clean vs strong vs dark
降级:检测到偏色就重拍,不要硬答
低照度下 ΔE 翻 7 倍,模型仍在「自信作答」。产品需要一道护栏:先判断输入质量,不达标就提示重拍或先校正,而不是把错误答案直接给用户。
依据:A/B 干预实验
06边界
- 刺激图是合成的,不是真实拍摄。它精确、可复现,但缺少真实相机的噪声分布与镜头特性。
- 「24 选 1」存在词汇歧义:天蓝 / 蓝色、砖红 / 红色 的边界本身模糊,会压低绝对准确率。
- 每个条件只有 24 条样本,单次运行,未做重复性与模型版本锁定。
- 只测颜色感知,不测语义理解、OCR、空间关系;结论是工程可用性判断,不是模型排行榜。