返回资料

为什么我不训练模型:504 次调用后的一点结论

三个多模态模型、504 次 API 调用、一张物理色卡。结论是:修输入比换模型划算,而且划算得多。

/多模态评测 · 方法论 · 色彩科学

相关作品:ColorCheck Probe:色彩感知的退化探针

先给结论

项 数字
调用次数 504(432 次基线 + 72 次对照)
被测模型 Kimi K3、GLM-5.3-Flash、DeepSeek V4.1
干净图最好成绩 95.8%
强偏色后 62.5%(−29pp)
只做输入校正 +25pp,ΔE −62%
训练成本 0

一句话:我没有训模型,因为答案不在模型里,在输入里。

一、为什么不做训练

理由 说明
模型闭源 三个都只有 API,没有权重
问题错位 要回答的是“现成模型能不能用”,训练会改掉前提
成本不对等 微调一次多模态模型的钱,够做几十次这样的评测

更关键的是:训练解决不了“输入脏”这件事。你把模型调到能认偏色图,换一个场景、换一种偏色,它照样失效。

二、实验怎么设计的

第一步:造尺子。 先用 colorcheck-pipeline 把色卡照片校正成标准色值,逐块算 CIEDE2000。单文件 1189 行,只用 numpy + Pillow,零 OpenCV。

第二步:造刺激。 用已知色值合成 24 色卡,施加 6 种退化:干净、轻偏色、强偏色、噪声、欠曝、JPEG q35。共 7 张图(含一张校正后),每张 24 个色块。

第三步:判分。 每次问模型:“第 R 行第 C 列是什么颜色?”要求从 24 个名称里选一个,并给出近似 hex。

  • 名称对不对 → 准确率
  • hex 和标准值差多少 → ΔE00

两套指标测两件事:分类能力和测量能力。

三、三个发现

1. 强偏色是共同的分水岭。

模型 干净 强偏色 跌幅
Kimi K3 95.8% 62.5% −33pp
GLM-5.3-Flash 83.3% 41.7% −42pp
DeepSeek V4.1 70.8% 45.8% −25pp

2. 叫得准 ≠ 测得准。

Kimi 准确率最高(81.2%),但平均 ΔE 是 7.26,并不优于 GLM 的 7.05。它更擅长把颜色归到大类,说不出准确色值。

这意味着选型要分开看:做“红/橙”分类可以选它,做“色差是否超标”不行。

3. 欠曝比偏色更伤 ΔE。

Kimi 在欠曝下准确率还有 70.8%(灰阶还能蒙对),但 ΔE 从 2.45 涨到 17.25——色值彻底失真。

四、干预实验:只修输入会怎样

拿同一张强偏色图,先用 pipeline 校正(ΔE 6.78 → 0.56),再问一模一样的问题。模型、提示词、顺序全不变。

模型 校正前 校正后 提升 ΔE
Kimi K3 62.5% 87.5% +25.0pp 10.47 → 3.42
GLM-5.3-Flash 41.7% 75.0% +33.3pp 10.28 → 4.73
DeepSeek V4.1 45.8% 62.5% +16.7pp 8.71 → 2.91

平均 +25 个百分点,ΔE 下降 62%。

一次校正的成本是一次矩阵运算,不到一秒。换一个更强的模型的成本是:重新集成、重新测试、重新谈价。

这就是“先修数据,再换模型”的量化版本。

校正也不是万能的:Kimi 校正后 87.5%,仍低于干净图的 95.8%。强偏色造成的高光截断不可逆,能救回大部分,救不回全部。

五、链路踩的五个坑(真实记录)

评测里最花时间的从来不是模型,是链路。

# 现象 原因 解法
1 HTTP 402 余额不足 Go 订阅走错通道 端点要加 /inference/go/
2 HTTP 403 error code: 1010 Cloudflare 拦 Python UA 换 User-Agent
3 HTTP 400 MissingSessionID 缺会话标识 加 x-opencode-session
4 200 但回答为空 思考 token 把预算吃光 max_tokens 提到 2000
5 某些色块超长思考 推理无节制 reasoning_effort: low

第 4 条最隐蔽:返回 200、有 usage,但 content 是空字符串——不看 reasoning_tokens 根本发现不了。

六、这套方法能搬到别处

物理 ground truth + 受控退化 + 分层结论 → 选型 / 规范 / 护栏

换成 OCR(模糊、倾斜)、尺寸(透视、遮挡)、材质(反光),结构完全一样。

可复用的不是色彩知识,是这套“造尺子—造刺激—做对照”的结构。

七、我没做什么

  • 没测语义理解、OCR、空间关系——只测颜色
  • 没做重复性验证,每个条件只有 24 条样本
  • 没锁定模型版本,结论只代表这次调用
  • 没做真实拍摄集的验证,刺激图是合成的

这些“没做”比“做了”更该写出来,因为它们决定了结论能被引用到哪一步。


评测的价值不在于证明模型多强,而在于当有人问“要不要换模型”时,你能拿出一张对照表。