diff --git a/docs/bench-reliability.html b/docs/bench-reliability.html index e7cb3bc..d418405 100644 --- a/docs/bench-reliability.html +++ b/docs/bench-reliability.html @@ -103,7 +103,7 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v
HEX TRAILS · 关卡实验台

Agent 评级里，哪些数字真能拿来做关卡

同一批关卡、同一个模型、同一套盘面，跑两遍。能重现的指标才配进流程——这份报告把每个指标逐个检验了一遍，结论和直觉相反。

-

生成于 2026-09-14 13:55 GMT+8 · 数据来自 bench/runs 的 139 局 · 关卡集 levels/prototypes/d5.json（18 关）

+

生成于 2026-09-14 14:57 GMT+8 · 数据来自 bench/runs 的 157 局 · 关卡集 levels/prototypes/d5.json（18 关）

01参与检验的批次

@@ -115,6 +115,7 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v grok-4.6 · 新盘面 · 第 1 次1818/18212182255 s3.9 s grok-4.6 · 新盘面 · 第 2 次1818/180025102849 s3.9 s codex-spark · 旧盘面66/60022215 s1.4 s +codex-spark · 新盘面1818/18102182241 s7.0 s kimi-k3 · 新盘面1818/18002182248 s5.2 s

所有批次通关率都是 100%。这本身就是一条结论：通关率在这批内容上毫无区分度，任何流程都不该建立在通过/失败上。

@@ -236,29 +237,29 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v

下表是同一套盘面下所有批次的 多转 / 盲转 / 转错方向。不同厂商的模型、不同 harness、各自独立跑——如果这些数字真的由关卡决定，它们就该一样。

逐关完全一致
17 / 18
三项数字一个不差
-
参与批次
3
grok新① · grok新② · kimi
+
参与批次
4
grok新① · grok新② · kimi · spark新
- + - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + +
关家族grok新①grok新②kimi一致
关家族grok新①grok新②kimispark新一致
L1switchback0/0/00/0/00/0/0✔
L2switchback1/1/11/1/11/1/1✔
L3weave0/0/00/0/00/0/0✔
L4switchback1/1/11/1/11/1/1✔
L5weave1/1/11/1/11/1/1✔
L6weave0/0/00/0/00/0/0✔
L7petals0/0/00/0/00/0/0✔
L8petals0/0/00/0/00/0/0✔
L9weave2/1/02/1/02/1/0✔
L10petals0/0/00/0/00/0/0✔
L11petals0/0/00/0/00/0/0✔
L12switchback1/1/11/1/11/1/1✔
L13orbits4/4/110/8/34/4/1✘
L14crossing0/0/00/0/00/0/0✔
L15orbits4/4/14/4/14/4/1✔
L16orbits0/0/00/0/00/0/0✔
L17spiral4/4/14/4/14/4/1✔
L18spiral4/4/14/4/14/4/1✔
L1switchback0/0/00/0/00/0/00/0/0✔
L2switchback1/1/11/1/11/1/11/1/1✔
L3weave0/0/00/0/00/0/00/0/0✔
L4switchback1/1/11/1/11/1/11/1/1✔
L5weave1/1/11/1/11/1/11/1/1✔
L6weave0/0/00/0/00/0/00/0/0✔
L7petals0/0/00/0/00/0/00/0/0✔
L8petals0/0/00/0/00/0/00/0/0✔
L9weave2/1/02/1/02/1/02/1/0✔
L10petals0/0/00/0/00/0/00/0/0✔
L11petals0/0/00/0/00/0/00/0/0✔
L12switchback1/1/11/1/11/1/11/1/1✔
L13orbits4/4/110/8/34/4/14/4/1✘
L14crossing0/0/00/0/00/0/00/0/0✔
L15orbits4/4/14/4/14/4/14/4/1✔
L16orbits0/0/00/0/00/0/00/0/0✔
L17spiral4/4/14/4/14/4/14/4/1✔
L18spiral4/4/14/4/14/4/14/4/1✔

这是全份报告里最硬的一条结论。17/18 关上，独立运行的不同模型给出了完全相同的旋转三元组。这意味着规则机器人 12 秒扫出来的这三个数，等价于大模型跑几小时的结果——这个维度完全不需要 agent。

@@ -266,7 +267,7 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v

不一致的关：不是难，是不稳定

下面这些关在不同运行之间给出了不同的数字。排除模型差异后，剩下的解释是同一关的体验取决于起手方向——两个玩家玩同一关，一个觉得还行，一个觉得这关有毛病。这比"稳定地难"更值得处理。

-
L13 orbits：4/4/1 ／ 10/8/3 ／ 4/4/1
+
L13 orbits：4/4/1 ／ 10/8/3 ／ 4/4/1 ／ 4/4/1

04家族结构：机械指标指向同一个地方

把「多转」按路线家族平均。这是关卡结构问题，不是玩家问题——两批 grok、以及 spark，在这一点上给出一致的结果。

@@ -339,6 +340,26 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v 0.3
+

codex-spark · 新盘面 · 各家族平均多转

+
spiral2 关 + + 4.0
+
orbits3 关 + + 2.7
+
switchback4 关 + + 0.8
+
weave4 关 + + 0.8
+
petals4 关 + + 0.0
+
crossing1 关 + + 0.0
+

kimi-k3 · 新盘面 · 各家族平均多转

spiral2 关 @@ -365,19 +386,19 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v

05Agent 说了什么

评分是 1–5 的数字，worst 是它自己写的一句话。下面按反复出现的主题归类——价值在重复模式，不在单条内容。

-

擦碰看不出来 · 22 次提及

+

擦碰看不出来 · 27 次提及

L1 switchback（grok旧）：开局 t2/t11 路上看着没人其实会擦到，差点空点；只剩 t0 和 t3 对堵时短暂以为卡住了
L3 weave（grok旧）：t5走后（第9步）t2和t3都像能出界，其实互相擦碰，只能再转
L3 weave（grok新①）：朝向1时 t2 和 t3 互相擦碰、t0 被 t2 压着，短暂不确定是再转还是还有能点的
L3 weave（grok新②）：第9步清完后t2和t3互相擦挡，谁先走都不行，只能转
-

不知道该转哪边 · 16 次提及

+

不知道该转哪边 · 17 次提及

L2 switchback（grok旧）：第 13 步右转后朝向 3 没新出口，t0 和 t3 仍互相挡，不确定该不该继续同向转
L2 switchback（grok新①）：第15步右转后朝向3没有新出口，最后两枚还互压，一度担心转错了方向
L2 switchback（spark旧）：第 8-9 步清掉 t5,t4,t2 后只剩 t0/t3 互压，朝向2不再有出口，开始不确定该是继续走还是转哪边
L3 weave（spark旧）：第 5 步：第一轮转盘前所有可见线路都被压住/擦边，必须停下来判断该往哪个方向转
-

长路线读不动 · 20 次提及

+

长路线读不动 · 22 次提及

L1 switchback（kimi）：第 10 步后 t0/t2/t3/t10 四枚互相压成环，盘面上看不出解法，只能靠旋转试出新朝向
L6 weave（grok新①）：开局 t0/t1 路线三十多格绕完全盘，只能靠路上有谁的摘要，看不出线实际怎么走
L7 petals（grok旧）：开局 t0/t3 各 19 格 15 弯还叠着好几枚，文字路线太长，分不清该先解哪一层
@@ -388,7 +409,7 @@ footer{margin-top:64px;padding-top:22px;border-top:1px solid var(--rule);color:v

  1. 生成期硬门槛 · 零成本

    用已有求解器，在生成时就卡掉：最少旋转 ≥ 2、开局锁住率 ≤ 90%、首转两个方向都能推进、无死局状态。不合格的根本不进候选池。

  2. 规则机器人全量扫 · 1000 关 12 秒

    产出盲转 / 多转 / 转错方向。按 盲转 ≥ 2 或 多转 ≥ 2 打标。这条规则在 D5 上正好命中 orbits+spiral 那几关，和两个大模型跑两小时得到的结论一致。

    3. -

  3. Agent 只跑被标记的 + 5% 随机抽样

    不是 1000 关全跑。收集三样东西：difficulty（r=0.93，可用来给 1000 关排序）、stuck（r=0.85，体感无解的直接信号）、以及 worst 文字（重复模式能挖出系统性缺陷）。丢掉 rotation / clarity / fun——复测 r 只有 0.32 / 0.19 / 0.56，是模型噪声。按实测 51 s/关、4 路并行，150 关约半小时。

    4. +

  4. Agent 只跑被标记的 + 5% 随机抽样

    不是 1000 关全跑。收集三样东西：difficulty（r=0.93，可用来给 1000 关排序）、stuck（r=0.85，体感无解的直接信号）、以及 worst 文字（重复模式能挖出系统性缺陷）。丢掉 rotation / clarity / fun——复测 r 只有 0.32 / 0.19 / 0.56，是模型噪声。按实测 48 s/关、4 路并行，150 关约半小时。

  5. 真人标定锚点 · 5–10 关

    Agent 的难度排序可信（复测 r=0.93），但绝对值可能整体偏移——它觉得「刚好」的关，真人可能觉得太简单。所以真人只需要玩少数几关当锚点，把 agent 的相对排序映射到真实难度刻度上，不必逐关评。这比原本设想的省很多人力。