返回作品

作品 · 2026

ColorCheck Probe.

用 CIEDE2000 给多模态模型量一量:照片偏色、欠曝、压缩之后,它还认得出颜色吗?

2026.10 – 2026.11独立完成Python · 色彩科学 · 多模态评测
95.8%受控条件下可用Kimi K3 · 干净图
−29pp强偏色后的跌幅91.7% → 62.5%
+25pp校正输入后回升不换模型 · 三个平均

3 个模型 × 144 张受控图;另做 72 次「校正前 / 校正后」对照。全部数据与脚本可复算。

01问题

多模态模型正在被大量用于「看图」的场景:商品主图、设计稿比对、质检初筛。颜色是这些场景里少数能用物理量衡量的维度,但绝大多数评测用的是自然图片加人工标注,缺少一把可复现的尺子。

所以问题不是「模型认不认得颜色」,而是两个更具体的:偏色、欠曝、压缩之后,它的判断会退化多少?以及要提升,应该修输入还是换模型?

02做法

先造一把尺子

colorcheck-pipeline 把 24 色卡照片校成标准色值,逐块给出 CIEDE2000。单文件 1189 行,只用 numpy + Pillow。

再造成受控刺激

用已知色值合成色卡,施加 6 种退化:干净、轻偏色、强偏色、噪声、欠曝、JPEG。ground truth 是物理量,不是人工标签。

最后用 ΔE 打分

每次让模型报出颜色名和近似 hex:名字算准确率,hex 换算成 ΔE00。两套指标分别测「分类」和「测量」。

03结果

同一批 144 张图,三个模型的准确率。行是模型,列是退化条件。

模型干净轻偏色强偏色噪声欠曝JPEG总体
Kimi K395.8%91.7%62.5%83.3%70.8%83.3%81.2%
GLM-5.3-Flash83.3%79.2%41.7%75%70.8%70.8%70.1%
DeepSeek V4.170.8%70.8%45.8%79.2%45.8%62.5%62.5%

表 1 · 24 选 1 色名准确率,每格 24 条样本;随机水平约 4%

发现 01

强偏色是所有模型的共同分水岭:最好的 Kimi 也从 91.7% 掉到 62.5%,另外两个直接掉到 42–46%。

发现 02

叫得准不等于测得准。Kimi 准确率最高(81.2%),但平均 ΔE 7.26 并不优于 GLM 的 7.05——它更会把颜色归大类,说不出准确色值。

发现 03

欠曝对 ΔE 伤害最大:Kimi 从 2.45 涨到 17.25。它还能蒙对「都是灰」,但具体色值已经完全失真。

04干预:修输入还是换模型

拿同一张强偏色图,先用 colorcheck 校正(ΔE 从 6.78 降到 0.56),再问同样的问题。模型、提示词、问题顺序全部不变。

Kimi K3
62.5%
87.5%
+25pp
ΔE 10.47 → 3.42
GLM-5.3-Flash
41.7%
75%
+33.3pp
ΔE 10.28 → 4.73
DeepSeek V4.1
45.8%
62.5%
+16.7pp
ΔE 8.71 → 2.91

图 1 · 上条为校正前,下条为校正后;数字为色名准确率

三个模型平均提升 25 个百分点,平均 ΔE 下降 62%。模型一个没换,提示词一个字没改——收益全部来自输入治理。

校正后仍有差距:Kimi 87.5%,低于干净图的 95.8%。因为强偏色造成的高光截断不可逆,校正只能救回大部分,不能全救。

05三个决定

数据能支撑的不只是「哪个模型好」,而是三个可以写进需求文档的判断。

判断 01

选型:先看退化条件,再看平均分

Kimi K3 在 6 个条件里赢了 5 个,但强偏色下跌到 62.5%、ΔE 10.47,和另外两个没有数量级差距。选型时应该问「我的场景最怕哪种退化」,而不是「谁的总分高」。

依据:分条件准确率与 ΔE

判断 02

输入规范:曝光和白平衡比模型更值钱

强偏色让最好的模型掉 29 个百分点,欠曝让 ΔE 从 2.45 涨到 17.25。约束拍摄条件比换模型便宜得多,收益也更确定。

依据:clean vs strong vs dark

判断 03

降级:检测到偏色就重拍,不要硬答

低照度下 ΔE 翻 7 倍,模型仍在「自信作答」。产品需要一道护栏:先判断输入质量,不达标就提示重拍或先校正,而不是把错误答案直接给用户。

依据:A/B 干预实验

06边界

  • 刺激图是合成的,不是真实拍摄。它精确、可复现,但缺少真实相机的噪声分布与镜头特性。
  • 「24 选 1」存在词汇歧义:天蓝 / 蓝色、砖红 / 红色 的边界本身模糊,会压低绝对准确率。
  • 每个条件只有 24 条样本,单次运行,未做重复性与模型版本锁定。
  • 只测颜色感知,不测语义理解、OCR、空间关系;结论是工程可用性判断,不是模型排行榜。