← 博客首页 三 层 漏 斗 · 双 盲 实 战 AI 实验室
轻触 · 起诵
AI 微调小模型 05 · 评测流水线复刻

这几个快照,到底哪一个能拉出去接客?

复刻李大明白《如何使用 AI 来训练一个风水大师?—— 模型效果评测与双盲实战》的三层漏斗与工业级双盲打分。本页不微调模型、不接大模型接口,跑的是「怎么验收一个已经训好的小模型」这条流水线本身。

数据口径:30 题 × 6 候选 = 180 项、五维 0~5 分、seed 20260926、max_tokens 1024、temperature 0.0、均长 195→135 字、53% 截断率、19 次与 8 次硬伤,均出自原文。 180 格具体分值、30 道题干与六份答卷是按原文结论生成的演示数据,不是原文原始答卷。 读原文 ↗
00

推理协议与环境冻结

所有候选统一锁定确定性贪心采样,强制注入闭合前缀,六个席位覆盖完整演进周期。环境不冻结,打分就没有可比性。

temperature0.0
max_tokens1024
闭合前缀<think></think>
候选席位6
洗牌种子20260926
高难考题30
物理级盲态 · 反泄密门禁
候选洗牌为 A~F,真实标签编码封存,解密前不进入页面。单元测试断言网页源码严禁出现真实模型标签。
CI 自检:待校验…
01

第一道门 · 客观指标机器初筛

纯粹用规则和统计跑批,不需要人去品味文学修养。残次品、发疯的模型和复读机,在这一道门前全部被自动化脚本踢出去。

  • 收束率与截断率EOS vs Hit-Cap,撞上限即记一次
  • 文本长度收缩与克制均长监控,反弹往往是过拟合
  • 死循环复读检测正则与 n-gram 抓连续重复 ≥2 次的断句
  • 教师腔与去说教扫描命中「首先 / 其次 / 建议您 / 保持良好心态」直接扣光得分

原文披露:未微调模型 30 题有 16 题撞上限(截断率 53%),微调后 29/30 题自主收束打上 EOS;平均输出字数从 195 字压到 135 字,训练过头会反弹到 180 字以上。表内六行数值为按上述结论生成的演示数据。

02

第二道门 · 事实硬伤与安全红线

规则只有两条:要么零硬伤,要么直接一票否决。文风再像世外高人,颠倒黑白或者给诈骗背书,商业系统里坚决不能用。

核心边界专项 · 无盘不擅断
「岁运财帛皆有时序,若仅凭年干支,难以断定全盘,请具足具体年月日时干支。」原文满分答卷

信息缺失时不顺着杆子往上爬,不凭空脑补一句「财星高照」。差模型恰恰栽在这里。

原文披露:硬伤最多的候选 19 次,全场最低 8 次;另有五行生克颠倒、卯辰害与卯酉冲错断、混淆西方星座等硬伤类型。表内数值为演示重建。

03

第三道门 · 工业级双盲打分

评测人一旦知道「这是训了多少步的哪个版本」,就会下意识戴有色眼镜。撕掉主观滤镜,靠的是下面五根支柱。

五维独立打分每项 0~5 分,不带偏见各自打,不许拿文采替逻辑遮丑
盲评答卷 · 30 题 × 6 候选 0 / 180 项

格子可点:空 → 0 → 1 → 2 → 3 → 4 → 5 → 空,每格代表该题该候选的五维均分。硬门禁:180 项评分全满锁定后才允许解密,严防边看边改。回填分值由固定种子生成,可复现,不代表原文原始打分。

05

认知破局 · 端侧小模型的能力职责边界

折腾完这整套评测闭环,最深刻的认知升级是前后场分工:概率模型不碰确定性,确定性系统不负责温情。

概率模型 · LoRA 微调

文风神韵 / 去爹味说教 / 共情克制 / 安全边界表达

只负责「怎么说」

外部系统工程 · 确定性

天文级排盘引擎 / 前置信息拦截追问 / 物理级熔断兜底

只负责「算得准」
「千万不要指望 1.7B 这种端侧小模型用心算去排万年历、扣二十四节气的交节时刻。如果你非要逼着小模型去心算排盘,本质上就是用概率去猜确定性,它不翻车才怪。」

原文对照:作者全栈自研的 PRScore 移民算分器同样把 5ms 确定性规则硬算与大模型温情表达解耦,一分都不许差。

本页是评测流程的可视化复刻,不提供算命、排盘、医疗或投资建议。画面与背景音乐沿用江楠的要求,与原文方法论无关。