同一批关卡、同一个模型、同一套盘面，跑两遍。能重现的指标才配进流程——这份报告把每个指标逐个检验了一遍，结论和直觉相反。
每一批用 agent 字段标识，不靠文件名猜来源。「旧盘面」指擦碰只报第一个阻挡者的版本，「新盘面」指修复后全部列出的版本。
模型名以 CLI 启动时打印的解析结果为准，而不是提示词里让 agent 自报的名字——有一批 18 局曾被标成 codex-spark，实际是配置在运行前被改掉、跑成了 gpt-6-astra/low，存档已按日志头更正。
| 批次 | 关数 | 通关 | 空点 | 擦碰空点 | 盲转 | 转错 | 多转 | 单局均 | 每决策 |
|---|---|---|---|---|---|---|---|---|---|
| grok-4.6 · 旧盘面 | 18 | 18/18 | 4 | 4 | 21 | 8 | 22 | 83 s | 6.8 s |
| grok-4.6 · 新盘面 · 第 1 次 | 18 | 18/18 | 2 | 1 | 21 | 8 | 22 | 55 s | 3.9 s |
| grok-4.6 · 新盘面 · 第 2 次 | 18 | 18/18 | 0 | 0 | 25 | 10 | 28 | 49 s | 3.9 s |
| codex-spark · 旧盘面 | 6 | 6/6 | 0 | 0 | 2 | 2 | 2 | 15 s | 1.4 s |
| gpt-6-astra · low · 新盘面 | 18 | 18/18 | 1 | 0 | 21 | 8 | 22 | 41 s | 7.0 s |
| codex-spark · xhigh · 新盘面 | 18 | 17/18 | 0 | 0 | 21 | 7 | 21 | 21 s | 1.8 s |
| kimi-k3 · high · 新盘面 | 18 | 18/18 | 0 | 0 | 21 | 8 | 22 | 48 s | 5.2 s |
| grok-4.6 · 新关卡集（终局门槛后） | 18 | 18/18 | 0 | 0 | 5 | 4 | 6 | 41 s | 3.8 s |
已完成的对局通关率全部是 100%（个别批次仍有对局在进行中，未计入）。通关率在这批内容上毫无区分度，任何流程都不该建立在通过/失败上。
同模型（grok-4.6 xhigh）、同 harness（pi）、同盘面（新）、同 18 关，只是又跑了一遍。两次之间唯一的变量就是运行本身，所以下面的相关系数就是这个指标的复测信度。
判定规则：关间标准差 < 0.35 说明这个指标在不同关卡上几乎一样，再稳也没用（无法排序）；复测 r < 0.5 说明换一次运行结果就变，不能作为依据。两条都过才算可用。
| 指标 | 关间标准差 | 复测相关 r | 逐关完全一致 | 判定 |
|---|---|---|---|---|
| 多转 清盘旋转数 − 求解器最少旋转数 | 1.58 | 0.87 | 17/18 | 可用 |
| 盲转 转了一次，什么出口都没打开 | 1.57 | 0.92 | 17/18 | 可用 · 高 |
| 转错方向 另一边本来能打开 | 0.50 | 0.82 | 17/18 | 可用 |
| 步数 | 2.24 | 0.76 | 16/18 | 可用 |
| 决策数 看了几次盘面 | 1.89 | 0.77 | 10/18 | 可用 |
| 空点 点了没动 | 0.46 | — | 17/18 | 噪声 |
| 动作÷棋子 | 0.15 | 0.69 | 16/18 | 无区分度 |
| 评分：无解感 | 0.87 | 0.85 | 14/18 | 可用 |
| 评分：难度 | 0.59 | 0.93 | 17/18 | 可用 · 高 |
| 评分：旋转意义 | 0.37 | 0.32 | 15/18 | 噪声 |
| 评分：清晰度 | 0.47 | 0.19 | 12/18 | 噪声 |
| 评分：好玩 | 0.42 | 0.56 | 15/18 | 可用 |
「关间标准差」衡量这个指标能不能把不同关卡区分开——标准差接近 0 的指标就算完全可复现也没用，因为每关都一样。两个条件要同时满足：既能区分关卡，又能跑两遍不变。
虚线是「两次完全相同」。点贴着虚线 = 可复现；点散开 = 这个数字换一次运行就变。
上一节控制了所有变量。作为对照，这里是旧盘面 vs 新盘面的同 18 关配对——它多了一个变量（盘面变了），所以相关系数是信度的下限而非真值。两张表一起看，能分清「指标本身不稳」和「盘面变化导致的差异」。
| 指标 | 控制变量后 r | 换盘面后 r | 差异说明 |
|---|---|---|---|
| 多转 | 0.87 | 1.00 | 两者接近，盘面变化影响很小 |
| 盲转 | 0.92 | 1.00 | 两者接近，盘面变化影响很小 |
| 转错方向 | 0.82 | 1.00 | 控制变量后反而更低——值得留意 |
| 步数 | 0.76 | 0.95 | 控制变量后反而更低——值得留意 |
| 决策数 | 0.77 | 0.87 | 两者接近，盘面变化影响很小 |
| 空点 | — | -0.10 | — |
| 动作÷棋子 | 0.69 | 0.92 | 控制变量后反而更低——值得留意 |
| 评分：无解感 | 0.85 | 0.80 | 两者接近，盘面变化影响很小 |
| 评分：难度 | 0.93 | 0.63 | 控制变量后明显更高——之前被盘面变化压低了 |
| 评分：旋转意义 | 0.32 | 0.06 | 控制变量后明显更高——之前被盘面变化压低了 |
| 评分：清晰度 | 0.19 | 0.09 | 两者接近，盘面变化影响很小 |
| 评分：好玩 | 0.56 | 0.21 | 控制变量后明显更高——之前被盘面变化压低了 |
下表是同一套盘面下所有批次的 多转 / 盲转 / 转错方向。不同厂商的模型、不同 harness、各自独立跑——如果这些数字真的由关卡决定，它们就该一样。
| 关 | 家族 | grok新① | grok新② | kimi | astra | spark新 | 一致 |
|---|---|---|---|---|---|---|---|
| L3 | switchback | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L5 | switchback | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | ✔ |
| L6 | weave | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L10 | petals | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L11 | petals | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L15 | crossing | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L17 | orbits | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L19 | petals | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L20 | petals | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L21 | switchback | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | ✔ |
| L22 | orbits | 4/4/1 | 10/8/3 | 4/4/1 | 4/4/1 | 4/4/1 | ✘ |
| L23 | orbits | 4/4/1 | 4/4/1 | 4/4/1 | 4/4/1 | 4/4/1 | ✔ |
| L24 | spiral | 4/4/1 | 4/4/1 | 4/4/1 | 4/4/1 | 4/4/1 | ✔ |
| L25 | spiral | 4/4/1 | 4/4/1 | 4/4/1 | 4/4/1 | 3/4/0 | ✘ |
| L26 | switchback | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | ✔ |
| L27 | weave | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | 1/1/1 | ✔ |
| L28 | weave | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0/0/0 | ✔ |
| L29 | weave | 2/1/0 | 2/1/0 | 2/1/0 | 2/1/0 | 2/1/0 | ✔ |
这是全份报告里最硬的一条结论。16/18 关上，独立运行的不同模型给出了完全相同的旋转三元组。这意味着规则机器人 12 秒扫出来的这三个数，等价于大模型跑几小时的结果——这个维度完全不需要 agent。
下面这些关在不同运行之间给出了不同的数字。排除模型差异后，剩下的解释是同一关的体验取决于起手方向——两个玩家玩同一关，一个觉得还行，一个觉得这关有毛病。这比"稳定地难"更值得处理。
把「多转」按路线家族平均。这是关卡结构问题，不是玩家问题——两批 grok、以及 spark，在这一点上给出一致的结果。
orbits 和 spiral 是问题家族。它们稳定地需要 7 次旋转（最少 3 次）外加 4 次盲转——等于把 6 个朝向挨个试一遍。而 petals 和 crossing 是干净的 0。锁住率解释不了这个差异（L16 也是 orbits、锁 78%，却是 3/3）。
评分是 1–5 的数字，worst 是它自己写的一句话。下面按反复出现的主题归类——价值在重复模式，不在单条内容。
核心判断：机械计数器当主力，agent 做抽检。免费的规则机器人能扫全量并稳定给出盲转/多转/转错；agent 贵但能提供两样机器给不了的东西——难度的相对排序，和用自然语言点出的系统性缺陷。关键是只收集经过信度检验的那几项。
用已有求解器，在生成时就卡掉：最少旋转 ≥ 2、开局锁住率 ≤ 90%、首转两个方向都能推进、无死局状态。不合格的根本不进候选池。
产出盲转 / 多转 / 转错方向。按 盲转 ≥ 2 或 多转 ≥ 2 打标。这条规则在 D5 上正好命中 orbits+spiral 那几关，和两个大模型跑两小时得到的结论一致。
不是 1000 关全跑。收集三样东西：difficulty（r=0.93，可用来给 1000 关排序）、stuck（r=0.85，体感无解的直接信号）、以及 worst 文字（重复模式能挖出系统性缺陷）。丢掉 rotation / clarity / fun——复测 r 只有 0.32 / 0.19 / 0.56，是模型噪声。按实测 43 s/关、4 路并行，150 关约半小时。
Agent 的难度排序可信（复测 r=0.93），但绝对值可能整体偏移——它觉得「刚好」的关，真人可能觉得太简单。所以真人只需要玩少数几关当锚点，把 agent 的相对排序映射到真实难度刻度上，不必逐关评。这比原本设想的省很多人力。
最该做的一件事：把它变成回归测试，而不是评审流程。改完生成器，12 秒跑一遍规则机器人，比较盲转分布。从 22% 降到 5% 就是客观改善，升上去就是刚引入了退化。12 秒一轮可以进 CI；几小时一轮且分数不可复现的人工评审，不可能成为迭代循环。
写清楚哪里不够硬，比多列几个数字重要。