diff --git a/bench/board.json b/bench/board.json index f9e9c67..71b6934 100644 --- a/bench/board.json +++ b/bench/board.json @@ -1,7 +1,7 @@ { "goal": "调出 50 关难度合适、好玩的关卡,交付人工审核", "updated": "09-14 16:45", - "round": 1, + "round": 2, "definition": { "title": "「难度合适且好玩」的操作定义", "why": "旋转是免费的、是这个游戏的特色,玩家应该频繁做——所以不该限制旋转次数。该限制的是每一次旋转值不值:转了有没有棋子出来、能不能看出来该转哪、以及转完之后有没有「原来这么简单」的反差。评分里只有 difficulty(复测 r=0.93)和 stuck(r=0.85)可信,rotation / clarity / fun 是噪声(0.32 / 0.19 / 0.56),所以「好玩」全部换成机械代理。 另外,演出本身就是奖励——棋子沿弯路走出去的那几秒是减压点,所以开局必须有得看,而不是只有两枚贴边棋子和 0.3 秒。", @@ -124,14 +124,14 @@ { "id": "T1.5", "title": "扩产到 ≥120 候选并去重、家族均衡", - "status": "doing", - "note": "扩产到 400 种子(8 片并行)。目的不是多,是为了付得起两道新闸门的代价:双向死转态 ≤2 只留 16%,在 94 个候选上会只剩 8 关" + "status": "done", + "note": "扫了 480 + 240 个种子,得 684 个候选;过两道新闸门后 228 关。扩产的目的是付得起闸门的代价,不是数量本身" }, { "id": "T1.6", "title": "终局三枚互锁(hero+gate+tail)", "status": "blocked", - "note": "深关卡的主要死因:5 转以上有 60% 死在「终局单出口」。实测终局是锁链自己的三枚棋子在 6 个朝向里堵死 5 个。双向释放约束只覆盖了 hero/tail 两枚,三枚组合覆盖不到——这是可达状态的性质,构造时难保证。当前对策是提高扫描量靠筛选拿到,不是修构造" + "note": "仍是深关卡的瓶颈:684 个候选里深度≥4 的只有 67 个,过闸门后剩 16 个——后档只能做到平均 4.1 转,是供给限制不是设计选择" }, { "id": "T1.7", @@ -184,18 +184,20 @@ { "id": "T3.2", "title": "按实测曲线调整选关,重选", - "status": "doing", - "note": "R1 唯一可用的是总体读数「偏易」,不是逐关排名。据此定的 R2 改动只有一条、且是机械可测的:给 doubleDead(左右转都打不开任何棋子的可达卡住态)设闸门——它此前完全没设,当前 50 关中位 4、最高 27。这正是用户说的「无效转动就会很无聊」,也是 agent 后段反复写的「短暂以为转错了方向」" + "status": "done", + "note": "连续空转设闸门(≤1)+ 难度曲线改为按旋转深度配额。同一规则机器人对照:盲转 0.24→0.12,最长连续盲转 4→1,决策数不变" }, { "id": "T3.3", "title": "第 2 轮验证", - "status": "todo" + "status": "done", + "note": "R2:99 局覆盖 50 关,全部通关,空点 0。难度按档 2.00 / 2.05 / 2.40,无解感 1.21 / 1.15 / 1.74 —— 评分第一次出现梯度" }, { "id": "T3.4", "title": "收敛判定(难度曲线单调、stuck 达标)", - "status": "todo" + "status": "doing", + "note": "机械面已收敛:空点 0、不可解态 0、连续空转≤1、终局朝向≥3。难度未达标:后档 2.40 vs 目标 3。瓶颈是深关卡供给(见 T1.6),正在扫第二批种子。注意逐关评分复测 r=0.55 且同轨迹会打出不同分,只有按档≈20 局才可读" } ] }, @@ -206,7 +208,8 @@ { "id": "T4.1", "title": "50 关关卡集", - "status": "todo" + "status": "done", + "note": "levels/campaign-50.json + src/levels-c50.js,已注册为可玩版本 c50,198 项测试全绿" }, { "id": "T4.2", @@ -217,7 +220,8 @@ { "id": "T4.3", "title": "后续关卡制作流程的优化总结", - "status": "todo" + "status": "done", + "note": "docs/level-process.html:两轮对照、复测可信度表(本批现算)、五条规则各带证据、被否掉的做法清单" } ] } @@ -251,6 +255,10 @@ { "at": "R2 依据", "text": "后段 14 条抱怨里两类:路线太长(感知,已对照 v0.5 基线否掉)与「转了没反应」(机械,可设闸门)。只改后者:endgameMinOpen 2→3、doubleDead 无闸门→≤2。两条合计只留 16% 候选,所以先扩池" + }, + { + "at": "R2 结果", + "text": "难度评分按档 2.00/2.05/2.40(R1 是三档全平),无解感 1.21/1.15/1.74。意外把每关跑了两次,得到 45 对复测:84% 重放了完全相同的动作序列,机械指标 r=1.00,难度评分 r=0.55——且评分分歧的那几对全是同轨迹。结论:agent 近乎确定性,同一关不必跑两遍" } ] } \ No newline at end of file diff --git a/docs/level-board.html b/docs/level-board.html index 7d5201c..4b84206 100644 --- a/docs/level-board.html +++ b/docs/level-board.html @@ -98,10 +98,10 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v
HEX TRAILS · 关卡调优

调出 50 关难度合适、好玩的关卡,交付人工审核

-

第 1 轮 · 更新于 09-14 16:45 · 本页每 60 秒自动刷新

+

第 2 轮 · 更新于 09-14 16:45 · 本页每 60 秒自动刷新

-
-
13 / 21 项完成62%
+
+
18 / 21 项完成86%
@@ -110,20 +110,20 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v
候选关卡
50 / 50
当前关卡集
盲转 / 关
0.00
目标 0
转错方向 / 关
0.00
目标 0
-
猴子 动作÷棋子
6.53
目标 ≥3.0(不无脑)
+
猴子 动作÷棋子
6.43
目标 ≥3.0(不无脑)
- - - - - + + + + +
最少旋转数候选关数说明
1 转3浅
2 转10浅
3 转31浅
4 转3中
5 转3中
1 转5浅
2 转5浅
3 转24浅
4 转12中
5 转4中
-

路线家族分布:v05 ×13 · switchback ×7 · weave ×18 · orbits ×10 · spiral ×2 终局可走朝向分布:{"1":5,"2":22,"3":21,"4":1,"5":1}

+

路线家族分布:v05 ×10 · spiral ×2 · switchback ×12 · weave ×18 · orbits ×8 终局可走朝向分布:{"3":44,"4":5,"5":1}

B什么叫「难度合适且好玩」

旋转是免费的、是这个游戏的特色,玩家应该频繁做——所以不该限制旋转次数。该限制的是每一次旋转值不值:转了有没有棋子出来、能不能看出来该转哪、以及转完之后有没有「原来这么简单」的反差。评分里只有 difficulty(复测 r=0.93)和 stuck(r=0.85)可信,rotation / clarity / fun 是噪声(0.32 / 0.19 / 0.56),所以「好玩」全部换成机械代理。 另外,演出本身就是奖励——棋子沿弯路走出去的那几秒是减压点,所以开局必须有得看,而不是只有两枚贴边棋子和 0.3 秒。

@@ -162,8 +162,8 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v
  • T1.2解除 rotations===3 的硬限制,允许 4/5/6+完成
  • T1.3反差感指标进 deepLevelStats 并作门槛完成
    contrastStats 已进 deepLevelStats 并作门槛;实测 weave 22–33、switchback 29、spiral 18–24、orbits 12–17,petals 仅 2.0–5.7、crossing 3.8–5.5
  • T1.4每转释放 ≥2 枚的门槛完成
    改为按朝向配额插棋(每个朝向 ≥2 枚在等),取代原来的随机比例——随机比例会留下空转的朝向
  • -
  • T1.5扩产到 ≥120 候选并去重、家族均衡进行中
    扩产到 400 种子(8 片并行)。目的不是多,是为了付得起两道新闸门的代价:双向死转态 ≤2 只留 16%,在 94 个候选上会只剩 8 关
  • -
  • T1.6终局三枚互锁(hero+gate+tail)受阻
    深关卡的主要死因:5 转以上有 60% 死在「终局单出口」。实测终局是锁链自己的三枚棋子在 6 个朝向里堵死 5 个。双向释放约束只覆盖了 hero/tail 两枚,三枚组合覆盖不到——这是可达状态的性质,构造时难保证。当前对策是提高扫描量靠筛选拿到,不是修构造
  • +
  • T1.5扩产到 ≥120 候选并去重、家族均衡完成
    扫了 480 + 240 个种子,得 684 个候选;过两道新闸门后 228 关。扩产的目的是付得起闸门的代价,不是数量本身
  • +
  • T1.6终局三枚互锁(hero+gate+tail)受阻
    仍是深关卡的瓶颈:684 个候选里深度≥4 的只有 67 个,过闸门后剩 16 个——后档只能做到平均 4.1 转,是供给限制不是设计选择
  • T1.7开局展示位(快速爽到)完成
    实测整个构造的开局中位只有 2 枚可点、最佳演出 0.57s——锁链开局全锁死。在构造里预留 2 个开局位(立即可点且路线长到值得看),实测开局可点 2→3 枚、最佳演出 0.72s→1.12s
  • T1.8离场演出封顶完成
    计时原本线性无上限,最长一次 17.4s,正式关 18.8% 超过 2s。拐点 2.4s 以下完全不变,以上加速逼近 3.2s 上限。labs/exit-timing 可同步对比
  • @@ -182,18 +182,18 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v

    P3迭代:跑几轮把曲线调平

    P4交付

    @@ -204,7 +204,8 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v
    - + + @@ -219,6 +220,7 @@ footer{margin-top:56px;padding-top:20px;border-top:1px solid var(--rule);color:v

    F日志

    批次关数difficultystuck盲转/关多转/关
    R1 · grok xhigh492.061.410.160.31
    R2 · grok xhigh992.161.370.120.24
    R1 · grok xhigh502.101.440.240.38
    Codex CLI · gpt-6-astra low182.441.441.171.22
    Codex CLI · spark xhigh183.112.281.171.17
    Grok Build CLI · xhigh182.391.831.171.22
    + + + + + + + + + +
    同一个规则机器人,两套关卡集第一版第二版
    盲转 / 关0.240.12
    最长连续盲转41
    空点 / 关0.000.00
    决策 / 关(要做的事)10.310.3
    +

    要做的事一样多,浪费掉的动作少了一半。这是同一个玩家的对照,所以变的是关卡不是模型的心情。

    + + + + + + + +
    grok 实测,按档难度无解感盲转/关旋转深度
    前档 L1–L122.001.210.171.8
    中档 L13–L322.051.150.003.0
    后档 L33–L502.401.740.234.1
    +

    第一轮三档的难度评分是一条平线。第二轮后档升到了 2.40,无解感也跟着抬起来——这是评分第一次表现出梯度,但只在按档平均之后。

    + +

    哪些信号复测得住

    +

    下面的 r 是在这一批关卡上现算的:同一个 agent 把每关玩了两次,49 对。不是引用更早、更小的样本。

    + + + + + + + + + + + + + +
    信号复测 rn怎么用
    盲转次数1.0049可用:驱动了真实修复
    转错方向次数1.0049可用
    实际旋转数1.0049可用
    步数1.0049可用
    决策数0.9049可用
    无解感评分0.4849只按档看
    难度评分0.5549只按档看,约 20 局起
    好玩评分0.3449不可用
    清晰度评分0.1149不可用
    +

    机械指标全部 r ≈ 1.00,但那多半是因为 agent 84% 的情况下重放了完全相同的动作序列——这本身才是有用的那条结论:重复跑同一关买不到新信息。评分则相反:同一条轨迹,6 对给出了不同的难度分。

    五条规则,各自的证据

    -

    1agent 轮次用来抓缺陷,不用来排难度

    +

    1难度评分只能按档看,不能逐关看

    -
    证据
    R1 的 50 关里有 46 关难度评分是 2 分,而这些关卡的决策数从 3 到 15。评分不是不准,是不区分。
    -
    为什么
    文字盘面把每颗棋子的路线、挡路者、紧贴者列成清单,agent 不必用眼睛顺线走一遍——而那正是这游戏的难点。agent 自己写过:「挡路名单已经写全,不用顺着格子数」。
    -
    现在怎么做
    难度排序改为机械假设(旋转深度、棋子数、互锁),由人工审核裁定;agent 轮次只看死局、盲转、转错、空点、演出。
    +
    证据
    99 局里有 83 局打的是 2 分,而这些关卡的决策数从 3 到 15。逐关复测 r = 0.55,而且 6 对分歧里有 6 对<b>走的是同一条轨迹</b>——同样的动作、同样的结果,模型给自己打了不同的分。但按档平均约 20 局后,曲线第一次显形了(见上表)。
    +
    为什么
    文字盘面把每颗棋子的路线、挡路者、紧贴者列成清单,agent 不必用眼睛顺线走一遍——而那正是这游戏的难点。agent 自己写过:「挡路名单已经写全,不用顺着格子数」。剩下的评分噪声,只有靠聚合才压得下去。
    +
    现在怎么做
    逐关排序改为机械假设(旋转深度、棋子数、互锁),由人工审核裁定;评分只用来读整档的高低。
    -

    2先用规则机器人扫,再花 agent 时间

    +

    2先用规则机器人扫,再花 agent 时间;同一关不要跑两遍

    -
    证据
    机械旋转指标已被证明测的是关卡而不是玩家:4 次运行、3 家厂商,18 关里 17 关结论一致。
    -
    为什么
    既然同一关在不同模型下得出同样的机械读数,那这个读数不需要模型来产生。
    -
    现在怎么做
    12 秒的规则机器人扫描替代一整轮 agent 跑批;agent 只用于抽样确认和读自由文本抱怨。
    +
    证据
    第二轮意外把每关跑了两次,得到 49 对复测:其中 41 对(84%)重放了<b>完全相同</b>的动作序列,机械指标复测 r = 1.00。规则机器人跑完 50 关只要 1 秒。
    +
    为什么
    agent 近乎确定性,重复同一关几乎不产生新信息。为「提高可信度」而重复跑,是把预算花在已经知道的答案上。
    +
    现在怎么做
    全量验收交给规则机器人;agent 每关只跑一次,省下的预算用来多覆盖关卡。
    @@ -105,7 +147,7 @@ a{color:var(--rail)}

    5抱怨要对照基线,不要直接当缺陷

    -
    证据
    agent 33 条抱怨里最集中的是「路线太长读不完」。但已上线的 v0.5 最长路线 88 格,比这批新关卡的 84 格还长。
    +
    证据
    agent 33 条抱怨里最集中的是「路线太长读不完」。但已上线的 v0.5 最长路线 74 格,比这批新关卡的 74 格还长。
    为什么
    那是这个游戏本来的性格。把它当缺陷修掉,改的是游戏而不是关卡。
    现在怎么做
    只在审核页标出,交给人裁定。
    @@ -115,12 +157,12 @@ a{color:var(--rail)} - + - - - + + +
    指标可用依据
    盲转 / 多余转 / 转错方向可用复测 r ≈ 0.82–0.92;驱动了真实修复(1.17 / 1.22 / 0.44 → 0)
    盲转 / 多余转 / 转错方向可用本批复测 r = 1.00;驱动了真实修复(盲转 1.17 → 0.12)
    是否通关、空点次数可用直接观察,无主观成分
    自由文本抱怨可用33 条里两个主题高度重复,指标抓不到;但须对照基线(规则 5)
    难度评分只能看总体稳定但不区分;单关排序不可用,整批读数(偏易一档)可用
    无解感评分谨慎复测 r = 0.85,与无效动作相关 0.66,可当挫败感的代理
    好玩 / 清晰度 / 旋转评分不可用复测 r ≤ 0.56,是模型噪声
    难度评分只按档看逐关复测 r = 0.55,且同一条轨迹会打出不同分;按档平均约 20 局才显出梯度
    无解感评分只按档看复测 r = 0.48;按档看时与难度同向抬升,可当挫败感的代理
    好玩 / 清晰度评分不可用复测 r = 0.34 / 0.11,是模型噪声
    @@ -138,7 +180,7 @@ a{color:var(--rail)} - + diff --git a/docs/review-50.html b/docs/review-50.html index 297824b..9bd16a8 100644 --- a/docs/review-50.html +++ b/docs/review-50.html @@ -62,7 +62,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v

    五十关 · 人工审核

    缩略图是开局盘面:绿色的棋子开局就能点,灰色的被挡着。点「试玩」用真游戏打开这一关。

    -

    关卡集 levels/campaign-50.json · agent 实测批次 R2 · grok xhigh(50/50 关已评)· 生成于 2026-09-14 17:12

    +

    关卡集 levels/campaign-50.json · agent 实测批次 R2 · grok xhigh(50/50 关已评)· 生成于 2026-09-14 17:14

    难度曲线(agent 实测)

    试过什么结果
    拟合 difficulty ~ 机械特征,用来重选关卡响应几乎无方差(46/50 同分),回归的是常数
    拟合 difficulty ~ 机械特征,用来重选关卡响应几乎无方差(83/99 同分),回归的是常数
    legibility(一眼看穿的成本)解释难度评分相关 -0.02,无效;降级为纯测量
    路线交叠度当难度轴中位已达 89%,没有上升空间
    换开局朝向来提高判断成本127 个候选里只有 7 个变好
    @@ -70,7 +70,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v - +
    前档 L1–L12122.01.10.20.0
    中档 L13–L32202.11.20.00.0
    后档 L33–L50182.31.80.20.0
    后档 L33–L50182.41.70.20.0

    难度 3 = 刚刚好;无解感越低越好。这两项是评分里唯二复测可信的(r = 0.93 / 0.85),其余几项是模型噪声,不列。

    @@ -78,7 +78,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v

    这批数字里,哪些能信

    机械面是干净的,可以信。agent 跑完 50 关:空点 0.0 次/关、盲转 0.1 次/关、反向转 0.1 次/关,50/50 关通关。「动了半天没结果」这类结构缺陷已经被生成期的闸门挡掉了。

    -

    难度评分不能信,它区分不了这批关卡。50 关里有 26 关被打成 2 分,而这些关卡机械上差着三倍(决策数 0–8)。原因不在关卡,在 bench:文字盘面会把每颗棋子的路线、挡路者、紧贴者直接列成清单,agent 从来不需要用眼睛顺着线走一遍——而那正是这个游戏的难点所在。agent 自己在报告里写过这句:「挡路名单已经写全,不用顺着格子数」。

    +

    难度评分不能信,它区分不了这批关卡。50 关里有 41 关被打成 2 分,而这些关卡机械上差着三倍(决策数 0–8)。原因不在关卡,在 bench:文字盘面会把每颗棋子的路线、挡路者、紧贴者直接列成清单,agent 从来不需要用眼睛顺着线走一遍——而那正是这个游戏的难点所在。agent 自己在报告里写过这句:「挡路名单已经写全,不用顺着格子数」。

    所以难度顺序是机械假设,等你的判定。L1 到 L50 是按旋转深度、棋子数、互锁程度排的,不是按谁测出来更难。评分唯一能用的是它的总体读数:整批偏易一档(2 分 vs 刚刚好的 3 分)。

    两件事我没有擅自改,留给你定。agent 的 33 条抱怨里反复出现两个主题:路线太长看不完(「68 格 27 弯」「42 格 42 弯」),以及紧贴容易看漏(「看着能出界却会擦到」)。两项都是感知问题,而已上线的 v0.5 在这两项上更严重(最长路线 88 格 vs 这里 74 格)——它是这个游戏本来的性格,不是这次构造引入的。卡片上「最长路线」超 45 格、「紧贴棋子」超 1 枚会标黄,你试玩时留意。

    @@ -182,8 +182,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 —无解感 —12 步6 决策
    - +
    难度 2无解感 112 步6 决策
    +
    开局 t0 那条 44 格绕来绕去的路线,摘要能看清挡子,但弯太多跟不上
    试玩 →
    @@ -216,8 +216,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 2无解感 217 步7 决策
    -
    第14步转到朝向2时t0看似能出界,但紧贴t2会擦到,长路线上不太容易预见到
    +
    难度 —无解感 —17 步7 决策
    +
    试玩 → @@ -233,8 +233,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —17 步7 决策
    - +
    难度 2无解感 217 步7 决策
    +
    t1 走后 t0/t2 互挡,右转朝向2时 t0 看似能出却擦到 t2,空转了一步
    试玩 → @@ -250,8 +250,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —16 步6 决策
    - +
    难度 2无解感 116 步6 决策
    +
    第12步右转后t0和t2仍互相挡,还得再转一次才拆开;开局长路线(31–49格)也只能靠挡子摘要读
    试玩 → @@ -267,8 +267,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —15 步8 决策
    - +
    难度 2无解感 115 步8 决策
    +
    朝向1剩四枚时 t2 擦到 t0、t0 路上又有 t2,看起来互相卡死,只能再转
    试玩 → @@ -284,8 +284,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —15 步8 决策
    - +
    难度 2无解感 115 步8 决策
    +
    开局 t0 那条 53 格 16 弯的超长路线把盘面读得很晕,真正能点的其实只有边上的 t8/t9/t11
    试玩 → @@ -301,8 +301,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 115 步8 决策
    -
    开局 t0/t2 路线 25–28 格还缠着四五枚棋子,只能靠摘要判断挡谁,盘面本身看不清
    +
    难度 2无解感 215 步7 决策
    +
    朝向1清完t1/t6/t7后,t0↔t2互压、t4↔t5互擦两对死锁叠在一起,不确定再转一次能不能解开
    试玩 → @@ -318,8 +318,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —14 步7 决策
    - +
    难度 2无解感 114 步7 决策
    +
    开局 t3 那条 62 格 26 弯的超长轨道几乎读不完,只能靠摘要看挡子
    试玩 → @@ -335,8 +335,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 115 步11 决策
    -
    开局 t0 那条 42 格弯路太长,挡谁只能靠摘要判断
    +
    难度 2无解感 115 步7 决策
    +
    开局 t0 那条 42 格长路列了九个挡子,其实先清边上的 t8/t9/t11 就行,长路干扰判断
    试玩 → @@ -352,8 +352,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 2无解感 115 步8 决策
    -
    开局 t0/t1/t3 路线 50 多格,只能靠末尾挡子列表判断,中间弯折几乎读不动
    +
    难度 2无解感 115 步7 决策
    +
    开局 t0/t1/t3 路线长达五十多格十六个弯,只能靠路上棋子摘要点,几乎没法在脑子里画出轨道
    试玩 → @@ -369,8 +369,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 3无解感 115 步7 决策
    -
    第二次旋转前剩 5 枚全靠擦碰互卡,一时不确定是漏点了谁还是该转
    +
    难度 2无解感 215 步10 决策
    +
    朝向1清完t1后,t2路上压着t3、t3又紧贴t2,两枚互相卡死,只能转盘
    试玩 → @@ -386,8 +386,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 —无解感 —15 步7 决策
    - +
    难度 2无解感 115 步7 决策
    +
    开局 t0/t1 路线 50 多格、挡子名单很长,只能先点边上三枚再转
    试玩 → @@ -403,8 +403,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子3 枚
    -
    难度 —无解感 —15 步10 决策
    - +
    难度 2无解感 115 步10 决策
    +
    t0/t3 绕几十格的轨道只能靠摘要,空间上绕到哪、会擦谁完全脑补不出来
    试玩 → @@ -421,7 +421,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 117 步7 决策
    -
    开局 t0 那条 55 格 16 弯太长,脑子对不上盘面;朝向 0 时 t2/t4 互堵,转一次没拆开还要再转
    +
    开局 t0 那条 55 格 16 弯完全读不过来,只能靠「路上有谁」的摘要;t2/t4 对卡看起来像死结,其实该转
    试玩 → @@ -438,7 +438,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 115 步7 决策
    -
    开局 t0/t1 那两条 50 多格的超长路线把盘面挤得很满,真正能走的短路径要翻下去找
    +
    开局 t0/t1 各绕 50 多格互相穿过,只能靠「路上有」摘要判断,路线本身几乎扫不动
    试玩 → @@ -454,8 +454,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 —无解感 —17 步10 决策
    - +
    难度 2无解感 117 步10 决策
    +
    开局 t0/t9 路线 50 多格,只能靠摘要判断谁挡谁,格子序列本身看不过来
    试玩 → @@ -471,8 +471,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子3 枚
    -
    难度 —无解感 —15 步7 决策
    - +
    难度 2无解感 115 步7 决策
    +
    开局 t0/t3/t5 路线 50+ 格叠在一起,虽然能走的棋子标得很清楚,但中间层谁挡谁很难建立直觉
    试玩 → @@ -488,8 +488,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —15 步10 决策
    - +
    难度 2无解感 115 步10 决策
    +
    开局 t0/t1 路线 50 多格 16 弯,空间感几乎没有,只能靠路上有谁来点
    试玩 → @@ -505,8 +505,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 215 步8 决策
    -
    朝向1清完后剩5枚互相卡住,t4看着能走却擦到t0,一时不知道该转还是继续点
    +
    难度 3无解感 115 步7 决策
    +
    朝向1清完t1/t7/t6后t4只擦t0、t0又被t4压着,像死锁,其实再右转就开了
    试玩 → @@ -523,7 +523,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 115 步7 决策
    -
    朝向2时 t2 只差1格出界却擦到 t1,t1 路上又压着 t2,互锁要转才看出来
    +
    朝向1清完t7/t6后6枚仍互卡,一时分不清是漏看了能走的还是必须再转
    试玩 → @@ -539,8 +539,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 —无解感 —15 步7 决策
    - +
    难度 2无解感 115 步7 决策
    +
    开局 t0 那条 54 格路线列了十来个挡子,眼花,好在先点边上没人的就对了
    试玩 → @@ -556,8 +556,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 —无解感 —15 步7 决策
    - +
    难度 2无解感 115 步7 决策
    +
    开局 t6 那条 68 格 28 弯的轨道太长,盘面一眼读不清,只能靠挡子列表剥层
    试玩 → @@ -573,8 +573,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 —无解感 —16 步7 决策
    - +
    难度 2无解感 216 步7 决策
    +
    朝向0清完边上3枚后,t1/t2对堵还擦t8、t7/t8也对堵,长轨道看不出该先解哪对,只能转
    试玩 → @@ -591,7 +591,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 119 步10 决策
    -
    开局 t0/t4 那两条 50 多格路线把几乎所有棋子都列进去,一时不知道从哪下手
    +
    开局 t0 一条 54 格长路几乎压着全盘,短出口要在一堆长路线里翻;后面几次卡住都是右转就开了,没真正选过方向
    试玩 → @@ -607,8 +607,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 215 步8 决策
    -
    朝向1时 t4 和 t5 路线都出界却互相擦着,谁也走不了,得再转一次才解开
    +
    难度 2无解感 115 步7 决策
    +
    开局 t4 那条 63 格螺旋把盘面读得很乱,其实只要先清边上能出的再转就行
    试玩 → @@ -624,8 +624,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 —无解感 —17 步8 决策
    - +
    难度 2无解感 117 步8 决策
    +
    朝向1时 t1 和 t7 都写路上没棋子,其实互相擦着谁也走不了,得再转才开
    试玩 → @@ -658,8 +658,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 —无解感 —17 步7 决策
    - +
    难度 2无解感 117 步7 决策
    +
    朝向1时t5路上没人却紧贴t4和t6,长直道擦碰差点误点
    试玩 → @@ -675,8 +675,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 217 步11 决策
    -
    第14步转到朝向4没有出口,t1仍擦到t2,短暂犹豫还要不要继续转
    +
    难度 3无解感 217 步10 决策
    +
    只剩 t1 t2 互相卡住,转到朝向 4 仍擦碰没出口,一时以为还要绕回去
    试玩 → @@ -692,8 +692,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 3无解感 219 步9 决策
    -
    清完朝向3的五枚后,t5 路上看似没人却擦到 t2,剩下三枚互卡只能再转
    +
    难度 2无解感 219 步9 决策
    +
    朝向2时剩8枚互相挡成环,扫了一圈才确定一枚都点不了
    试玩 → @@ -709,8 +709,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 2无解感 118 步9 决策
    -
    开局 t3、t6 路线 35–36 格织在一起,只能靠路上有/紧贴摘要点,盘面本身几乎读不出
    +
    难度 2无解感 218 步9 决策
    +
    朝向2剩5枚时 t2擦t5、t5擦t0、t0和t3互压,一时看不出该转还是还能点
    试玩 → @@ -726,8 +726,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 —无解感 —18 步11 决策
    - +
    难度 3无解感 218 步11 决策
    +
    朝向4只剩t2和t3互相堵、提示没有新出口,以为要转回去,其实再转一格就开了
    试玩 → @@ -743,8 +743,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子2 枚
    -
    难度 2无解感 220 步11 决策
    -
    朝向3清掉t6/t7/t0后剩5枚两两对卡,一时看不出还要再转两次才解开
    +
    难度 3无解感 220 步11 决策
    +
    朝向3清完t0后剩下t1↔t3、t2↔t5两对互锁,一时看不出再转一次能否拆开
    试玩 → @@ -760,8 +760,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 3无解感 219 步10 决策
    -
    清完 t8/t9 后 t2 与 t6、t0 与 t3 两对互卡,只能再转一次碰朝向
    +
    难度 2无解感 119 步9 决策
    +
    开局t3/t7路线三十多格,只能靠摘要看挡子,具体绕法扫不过来
    试玩 → @@ -778,7 +778,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 220 步9 决策
    -
    开局 t0 那条 39 格、11 个挡子的长路线读不清,只能靠摘要先清边上的自由子
    +
    朝向2剩7枚时t0和t3互压、t5擦t7,短暂犹豫是再转还是还有能点的
    试玩 → @@ -794,8 +794,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 2无解感 119 步9 决策
    -
    开局 t3/t9 路线三十多格互相编织,挡子名单太长,只能先清边上能走的再转
    +
    难度 2无解感 219 步9 决策
    +
    朝向3清完t3/t6/t7后,剩下t0/t2/t4互相压着擦着,看不出谁能先走,只能再转
    试玩 → @@ -812,7 +812,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 3无解感 220 步9 决策
    -
    开局清完外围后 t2/t10、t9/t11 两对对压,t1 那条 43 格长线看得晕,一时不确定是该硬拆顺序还是该转
    +
    朝向2时 t0 和 t3 对堵、旁边 t7 还擦着 t3,看起来像死结,只能再转一次才开
    试玩 → @@ -828,8 +828,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 —无解感 —19 步9 决策
    - +
    难度 3无解感 219 步9 决策
    +
    朝向2清完t8/t9后t0和t3对堵、t5还擦着t4,一时拿不准是继续右转还是该回转
    试玩 → @@ -846,7 +846,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 2无解感 120 步10 决策
    -
    开局 t3 那条 40 格 38 弯的路线太长,扫一眼抓不住谁挡谁
    +
    朝向0清完外围后 t0 和 t1 对堵,超长路线缠在一起,看不出该往哪转,只能盲转右边
    试玩 → @@ -862,8 +862,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 219 步9 决策
    -
    朝向2时 t0 和 t3 对堵、其余全擦挡,一时以为还要来回试朝向
    +
    难度 2无解感 119 步9 决策
    +
    开局 15 枚路线动辄三十多格互相织着,只能先清边上三枚再盲转;之后一直右转就能开,没真正选过方向
    试玩 → @@ -879,8 +879,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子3 枚
    -
    难度 3无解感 223 步15 决策
    -
    最后两枚转回朝向0仍对压,要再转到朝向1才双双出界,中间空转了一圈
    +
    难度 3无解感 223 步14 决策
    +
    最后只剩 t0 和 t3 时朝向 5、0 都互相卡住,要再转到朝向 1 才同时能出
    试玩 → @@ -896,8 +896,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子0 枚
    -
    难度 2无解感 222 步11 决策
    -
    朝向4剩 t0/t4/t5 互相卡住,t5 被 t0 挡、t0 又被 t5 挡,一度怀疑转错了方向
    +
    难度 2无解感 122 步11 决策
    +
    朝向2时盘面只剩互相缠着的超长路线,t5路上没人却擦到t1/t7,一时不确定是漏看了能走的还是该转
    试玩 → @@ -913,8 +913,8 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v 紧贴棋子1 枚
    -
    难度 2无解感 223 步15 决策
    -
    最后 t0/t3 互挡,转回朝向 0 提示没有新出口,以为转错了
    +
    难度 2无解感 223 步14 决策
    +
    第20步转回朝向0后t0和t3仍对压,短暂以为要回头改出子顺序
    试玩 → @@ -931,7 +931,7 @@ footer{margin-top:50px;padding-top:18px;border-top:1px solid var(--rule);color:v
    难度 3无解感 224 步15 决策
    -
    开局长路线动辄三十多格三十多个弯,只能靠「路上有谁」摘要,跟不出实际形状
    +
    开局长路线三十多格第一眼理不清;后段只剩 t0/t1/t3 互锁时犹豫要不要再转一整圈
    试玩 → diff --git a/scripts/build-process-report.mjs b/scripts/build-process-report.mjs index c3115d8..ae8e97d 100644 --- a/scripts/build-process-report.mjs +++ b/scripts/build-process-report.mjs @@ -7,7 +7,7 @@ import { existsSync, readFileSync, readdirSync, writeFileSync } from 'node:fs'; import { resolve } from 'node:path'; import { trace } from '../src/core.js'; import { metrics } from '../src/bench.js'; -import { legibility } from '../src/deep-lock.js'; +import { deepLevelKey, legibility } from '../src/deep-lock.js'; const esc = s => String(s ?? '').replace(/[&<>"]/g, c => ({ '&': '&', '<': '<', '>': '>', '"': '"' }[c])); const mean = a => a.length ? a.reduce((x, y) => x + y, 0) / a.length : null; @@ -29,11 +29,38 @@ for (const f of existsSync(resolve('bench/runs')) ? readdirSync(resolve('bench/r runs.push({ raw: d, m: metrics(d) }); } catch { /* torn read */ } } -const r1 = runs.filter(r => r.raw.agent === 'R1 · grok xhigh' && byId.has(r.raw.level?.id)); -const rated = r1.filter(r => r.m.rating && Number.isFinite(Number(r.m.rating.difficulty))); +// Rounds are matched to their own level set by board, not by id: the reselect +// between them reissued ids from the ordinal. +const inSet = new Set(levels.map(deepLevelKey)); +const oldLevels = (() => { try { return JSON.parse(readFileSync(resolve('levels/campaign-50-r1.json'), 'utf8')).levels; } catch { return []; } })(); +const inOld = new Set(oldLevels.map(deepLevelKey)); +const round = (agent, set) => runs.filter(r => r.raw.agent === agent && r.raw.level?.tiles && set.has(deepLevelKey(r.raw.level))); +const r1 = round('R1 · grok xhigh', inOld); +const r2 = round('R2 · grok xhigh', inSet); +const rated = r2.filter(r => r.m.rating && Number.isFinite(Number(r.m.rating.difficulty))); const byDiff = rated.reduce((m, r) => (m[r.m.rating.difficulty] = (m[r.m.rating.difficulty] || 0) + 1, m), {}); const topDiff = Object.entries(byDiff).sort((a, b) => b[1] - a[1])[0] ?? ['—', 0]; +// Retest: the same agent played each level twice, so reliability is measurable +// on this very set instead of quoted from an older, smaller one. +const pairsBy = new Map(); +for (const r of r2) { const k = deepLevelKey(r.raw.level); if (!pairsBy.has(k)) pairsBy.set(k, []); pairsBy.get(k).push(r); } +const pairs = [...pairsBy.values()].filter(v => v.length >= 2).map(v => [v[0], v[1]]); +const sd = a => { const m = mean(a); return Math.sqrt(mean(a.map(v => (v - m) ** 2))); }; +const pearson = (A, B) => { const sa = sd(A), sb = sd(B); if (!sa || !sb) return null; const ma = mean(A), mb = mean(B); return mean(A.map((v, i) => (v - ma) * (B[i] - mb))) / (sa * sb); }; +const retest = get => { + const ok = pairs.filter(p => Number.isFinite(get(p[0])) && Number.isFinite(get(p[1]))); + if (ok.length < 8) return { r: null, n: ok.length }; + return { r: pearson(ok.map(p => get(p[0])), ok.map(p => get(p[1]))), n: ok.length }; +}; +const sig = r => (r.raw.steps ?? []).map(s => `${s.action?.type}:${s.action?.id ?? s.action?.direction ?? ''}`).join('|'); +const identical = pairs.filter(([a, b]) => sig(a) === sig(b)).length; +const ratingDisagreed = pairs.filter(([a, b]) => a.m.rating?.difficulty != null && b.m.rating?.difficulty != null && a.m.rating.difficulty !== b.m.rating.difficulty); +const disagreedOnSamePlay = ratingDisagreed.filter(([a, b]) => sig(a) === sig(b)).length; + +const bandOf = (rows, a, b) => rows.filter(r => { const i = levels.findIndex(l => deepLevelKey(l) === deepLevelKey(r.raw.level)); return i >= a && i < b; }); +const BANDS = [['前档 L1–L12', 0, 12], ['中档 L13–L32', 12, 32], ['后档 L33–L50', 32, 50]]; + const longest = l => Math.max(...l.tiles.map(t => trace(l, t, [], true).steps.length)); const c50Longest = Math.max(...levels.map(longest)); const loadPool = p => { try { const r = JSON.parse(readFileSync(resolve(p), 'utf8')); return Array.isArray(r) ? r : r.levels; } catch { return []; } }; @@ -43,25 +70,35 @@ const traps = levels.map(l => legibility(l).grazeTraps); const decisions = rated.map(r => r.m.decisions ?? 0); const R1 = { - n: r1.length, rated: rated.length, - cleared: r1.filter(r => r.m.cleared).length, - dead: mean(r1.map(r => r.m.deadTaps ?? 0)), - blind: mean(r1.map(r => r.m.blindRotations ?? 0)), - wrong: mean(r1.map(r => r.m.wrongWayRotations ?? 0)), + n: r2.length, rated: rated.length, + cleared: r2.filter(r => r.m.cleared).length, + dead: mean(r2.map(r => r.m.deadTaps ?? 0)), + blind: mean(r2.map(r => r.m.blindRotations ?? 0)), + wrong: mean(r2.map(r => r.m.wrongWayRotations ?? 0)), flat: topDiff, decMin: Math.min(...decisions), decMax: Math.max(...decisions), + r1n: r1.length, r1blind: mean(r1.map(r => r.m.blindRotations ?? 0)), + r1diff: mean(r1.map(r => Number(r.m.rating?.difficulty)).filter(Number.isFinite)), }; +// The rule bot over both sets: one player, two level sets, so the change is the +// levels and not the mood of a model. +const bot = tag => runs.filter(r => String(r.raw.run ?? '').startsWith(tag)); +const BOT = tag => { const v = bot(tag); return v.length ? { + n: v.length, blind: mean(v.map(r => r.m.blindRotations ?? 0)), dead: mean(v.map(r => r.m.deadTaps ?? 0)), + streak: Math.max(...v.map(r => r.m.longestBlindStreak ?? 0)), dec: mean(v.map(r => r.m.decisions ?? 0)), +} : null; }; +const botOld = BOT('r1bot-'), botNew = BOT('r2bot-'); // The rules, each with the observation that forced it. A rule without one is a // preference, and preferences do not belong in a process document. const RULES = [ - { n: 1, rule: 'agent 轮次用来抓缺陷,不用来排难度', - ev: `R1 的 ${R1.rated} 关里有 ${R1.flat[1]} 关难度评分是 ${R1.flat[0]} 分,而这些关卡的决策数从 ${R1.decMin} 到 ${R1.decMax}。评分不是不准,是不区分。`, - why: '文字盘面把每颗棋子的路线、挡路者、紧贴者列成清单,agent 不必用眼睛顺线走一遍——而那正是这游戏的难点。agent 自己写过:「挡路名单已经写全,不用顺着格子数」。', - now: '难度排序改为机械假设(旋转深度、棋子数、互锁),由人工审核裁定;agent 轮次只看死局、盲转、转错、空点、演出。' }, - { n: 2, rule: '先用规则机器人扫,再花 agent 时间', - ev: '机械旋转指标已被证明测的是关卡而不是玩家:4 次运行、3 家厂商,18 关里 17 关结论一致。', - why: '既然同一关在不同模型下得出同样的机械读数,那这个读数不需要模型来产生。', - now: '12 秒的规则机器人扫描替代一整轮 agent 跑批;agent 只用于抽样确认和读自由文本抱怨。' }, + { n: 1, rule: '难度评分只能按档看,不能逐关看', + ev: `${R1.rated} 局里有 ${R1.flat[1]} 局打的是 ${R1.flat[0]} 分,而这些关卡的决策数从 ${R1.decMin} 到 ${R1.decMax}。逐关复测 r = ${f2(retest(r => Number(r.m.rating?.difficulty)).r)},而且 ${ratingDisagreed.length} 对分歧里有 ${disagreedOnSamePlay} 对走的是同一条轨迹——同样的动作、同样的结果,模型给自己打了不同的分。但按档平均约 20 局后,曲线第一次显形了(见上表)。`, + why: '文字盘面把每颗棋子的路线、挡路者、紧贴者列成清单,agent 不必用眼睛顺线走一遍——而那正是这游戏的难点。agent 自己写过:「挡路名单已经写全,不用顺着格子数」。剩下的评分噪声,只有靠聚合才压得下去。', + now: '逐关排序改为机械假设(旋转深度、棋子数、互锁),由人工审核裁定;评分只用来读整档的高低。' }, + { n: 2, rule: '先用规则机器人扫,再花 agent 时间;同一关不要跑两遍', + ev: `第二轮意外把每关跑了两次,得到 ${pairs.length} 对复测:其中 ${identical} 对(${pct(identical, pairs.length)})重放了完全相同的动作序列,机械指标复测 r = 1.00。规则机器人跑完 50 关只要 1 秒。`, + why: 'agent 近乎确定性,重复同一关几乎不产生新信息。为「提高可信度」而重复跑,是把预算花在已经知道的答案上。', + now: '全量验收交给规则机器人;agent 每关只跑一次,省下的预算用来多覆盖关卡。' }, { n: 3, rule: '门槛写在生成期,不写在筛选期', ev: '把开局门槛提到「可点≥3 枚、演出≥0.8s」后筛选写出了 0 关——池子的中位数是 2 枚 / 0.57s。', why: '筛选只能从池子里挑,挑不出池子里没有的东西。分布不对时,要改的是构造。', @@ -135,9 +172,9 @@ a{color:var(--rail)}

    关卡制作流程复盘

    这一轮做 50 关的过程里,最有用的结论是一个否定结论:原计划的「agent 打分 → 拟合权重 → 重选关卡」这个闭环合不上,而且不是样本量的问题。下面是它为什么合不上,以及流程该改成什么样。

    -

    实测批次 R1 · grok-4.6 xhigh · ${R1.n} 关 · 生成于 ${new Date().toLocaleString('sv-SE').slice(0, 16)}

    +

    实测批次 R2 · grok-4.6 xhigh · ${R1.n} 局(50 关,多数跑了两次)· 对照批次 R1 ${R1.r1n} 局 · 生成于 ${new Date().toLocaleString('sv-SE').slice(0, 16)}

    -

    R1 实测到了什么

    +

    第二轮实测到了什么

    通关
    ${R1.cleared}/${R1.n}
    无死局
    空点 / 关
    ${f2(R1.dead)}
    目标 0
    @@ -145,7 +182,56 @@ a{color:var(--rail)}
    转错 / 关
    ${f2(R1.wrong)}
    目标 0
    难度评分
    ${R1.flat[1]}/${R1.rated}
    都是 ${R1.flat[0]} 分 — 不区分
    -

    机械面干净,说明生成期的闸门是有效的:「动了很多次没结果」这类结构缺陷已经被挡在关卡集之外。难度评分那一格是这一轮真正的发现——它不是不准(复测 r = 0.93,相当稳),它是不区分:机械上差着三倍的关卡,它一律给 ${R1.flat[0]} 分。

    +

    机械面干净,说明生成期的闸门是有效的:「动了很多次没结果」这类结构缺陷已经被挡在关卡集之外。难度评分那一格是这两轮真正的发现:机械上差着三倍的关卡,它一律给 ${R1.flat[0]} 分。更早的记录里这项的复测可信度是 0.93,那是个更小的样本——在这一批 ${pairs.length} 对复测上实测是 ${f2(retest(r => Number(r.m.rating?.difficulty)).r)},所以它既不区分、也不像以为的那么稳。

    + +

    两轮之间改了什么,效果如何

    +

    第一轮唯一可用的读数是「整批偏易」,加上抱怨里反复出现的「转了没反应」。据此只改了两件事:给连续空转设闸门(最多一次转动没反应,此前有 11 关能连着两次),以及把难度曲线写成旋转深度的配额而不是指望它从排序里自己长出来。

    + + + +${botOld && botNew ? ` + + + + +` : ''} + +
    同一个规则机器人,两套关卡集第一版第二版
    盲转 / 关${f2(botOld.blind)}${f2(botNew.blind)}
    最长连续盲转${botOld.streak}${botNew.streak}
    空点 / 关${f2(botOld.dead)}${f2(botNew.dead)}
    决策 / 关(要做的事)${f1(botOld.dec)}${f1(botNew.dec)}
    规则机器人数据缺失
    +

    要做的事一样多,浪费掉的动作少了一半。这是同一个玩家的对照,所以变的是关卡不是模型的心情。

    + + + +${BANDS.map(([label, a, b]) => { + const rows = bandOf(r2, a, b); + const g = k => mean(rows.map(r => Number(r.m.rating?.[k])).filter(Number.isFinite)); + const rot = mean(levels.slice(a, b).map(l => l.campaign?.rotations ?? 0)); + return ``; +}).join('\n')} + +
    grok 实测,按档难度无解感盲转/关旋转深度
    ${label}${f2(g('difficulty'))}${f2(g('stuck'))}${f2(mean(rows.map(r => r.m.blindRotations ?? 0)))}${f1(rot)}
    +

    第一轮三档的难度评分是一条平线。第二轮后档升到了 ${f2(mean(bandOf(r2, 32, 50).map(r => Number(r.m.rating?.difficulty)).filter(Number.isFinite)))},无解感也跟着抬起来——这是评分第一次表现出梯度,但只在按档平均之后。

    + +

    哪些信号复测得住

    +

    下面的 r 是在这一批关卡上现算的:同一个 agent 把每关玩了两次,${pairs.length} 对。不是引用更早、更小的样本。

    + + + +${[['盲转次数', r => r.m.blindRotations, '可用:驱动了真实修复'], + ['转错方向次数', r => r.m.wrongWayRotations, '可用'], + ['实际旋转数', r => r.m.rotations, '可用'], + ['步数', r => r.m.steps, '可用'], + ['决策数', r => r.m.decisions, '可用'], + ['无解感评分', r => Number(r.m.rating?.stuck), '只按档看'], + ['难度评分', r => Number(r.m.rating?.difficulty), '只按档看,约 20 局起'], + ['好玩评分', r => Number(r.m.rating?.fun), '不可用'], + ['清晰度评分', r => Number(r.m.rating?.clarity), '不可用']].map(([name, get, use]) => { + const t = retest(get); + const cls = t.r == null ? '' : t.r >= 0.9 ? 'yes' : t.r >= 0.45 ? '' : 'no'; + return ``; +}).join('\n')} + +
    信号复测 rn怎么用
    ${name}${t.r == null ? '—' : f2(t.r)}${t.n}${use}
    +

    机械指标全部 r ≈ 1.00,但那多半是因为 agent ${pct(identical, pairs.length)} 的情况下重放了完全相同的动作序列——这本身才是有用的那条结论:重复跑同一关买不到新信息。评分则相反:同一条轨迹,${disagreedOnSamePlay} 对给出了不同的难度分。

    五条规则,各自的证据

    ${RULES.map(r => `
    @@ -161,12 +247,12 @@ ${RULES.map(r => `
    - + - - - + + +
    指标可用依据
    盲转 / 多余转 / 转错方向可用复测 r ≈ 0.82–0.92;驱动了真实修复(1.17 / 1.22 / 0.44 → 0)
    盲转 / 多余转 / 转错方向可用本批复测 r = ${f2(retest(r => r.m.blindRotations).r)};驱动了真实修复(盲转 1.17 → ${f2(R1.blind)})
    是否通关、空点次数可用直接观察,无主观成分
    自由文本抱怨可用33 条里两个主题高度重复,指标抓不到;但须对照基线(规则 5)
    难度评分只能看总体稳定但不区分;单关排序不可用,整批读数(偏易一档)可用
    无解感评分谨慎复测 r = 0.85,与无效动作相关 0.66,可当挫败感的代理
    好玩 / 清晰度 / 旋转评分不可用复测 r ≤ 0.56,是模型噪声
    难度评分只按档看逐关复测 r = ${f2(retest(r => Number(r.m.rating?.difficulty)).r)},且同一条轨迹会打出不同分;按档平均约 20 局才显出梯度
    无解感评分只按档看复测 r = ${f2(retest(r => Number(r.m.rating?.stuck)).r)};按档看时与难度同向抬升,可当挫败感的代理
    好玩 / 清晰度评分不可用复测 r = ${f2(retest(r => Number(r.m.rating?.fun)).r)} / ${f2(retest(r => Number(r.m.rating?.clarity)).r)},是模型噪声