关卡制作流程复盘
这一轮做 50 关的过程里,最有用的结论是一个否定结论:原计划的「agent 打分 → 拟合权重 → 重选关卡」这个闭环合不上,而且不是样本量的问题。下面是它为什么合不上,以及流程该改成什么样。
实测批次 R1 · grok-4.6 xhigh · 50 关 · 生成于 2026-09-14 17:06
R1 实测到了什么
机械面干净,说明生成期的闸门是有效的:「动了很多次没结果」这类结构缺陷已经被挡在关卡集之外。难度评分那一格是这一轮真正的发现——它不是不准(复测 r = 0.93,相当稳),它是不区分:机械上差着三倍的关卡,它一律给 2 分。
五条规则,各自的证据
1agent 轮次用来抓缺陷,不用来排难度
- 证据
- R1 的 50 关里有 46 关难度评分是 2 分,而这些关卡的决策数从 3 到 15。评分不是不准,是不区分。
- 为什么
- 文字盘面把每颗棋子的路线、挡路者、紧贴者列成清单,agent 不必用眼睛顺线走一遍——而那正是这游戏的难点。agent 自己写过:「挡路名单已经写全,不用顺着格子数」。
- 现在怎么做
- 难度排序改为机械假设(旋转深度、棋子数、互锁),由人工审核裁定;agent 轮次只看死局、盲转、转错、空点、演出。
2先用规则机器人扫,再花 agent 时间
- 证据
- 机械旋转指标已被证明测的是关卡而不是玩家:4 次运行、3 家厂商,18 关里 17 关结论一致。
- 为什么
- 既然同一关在不同模型下得出同样的机械读数,那这个读数不需要模型来产生。
- 现在怎么做
- 12 秒的规则机器人扫描替代一整轮 agent 跑批;agent 只用于抽样确认和读自由文本抱怨。
3门槛写在生成期,不写在筛选期
- 证据
- 把开局门槛提到「可点≥3 枚、演出≥0.8s」后筛选写出了 0 关——池子的中位数是 2 枚 / 0.57s。
- 为什么
- 筛选只能从池子里挑,挑不出池子里没有的东西。分布不对时,要改的是构造。
- 现在怎么做
- 开局问题由构造里的展示位插入解决,不是靠筛。
4每加一个门槛,先证明它挡掉了东西
- 证据
- 两次结构性猜测被实测推翻:「插入端多朝向出口」过滤器对漏斗零效果;为解释难度评分而建的 legibility 指标与评分相关 -0.02。
- 为什么
- 一个不改变漏斗的门槛,只会让人以为问题已经解决了。
- 现在怎么做
- 两者都已撤回/降级为纯测量。漏斗每一级的剩余数量都打印出来。
5抱怨要对照基线,不要直接当缺陷
- 证据
- agent 33 条抱怨里最集中的是「路线太长读不完」。但已上线的 v0.5 最长路线 88 格,比这批新关卡的 84 格还长。
- 为什么
- 那是这个游戏本来的性格。把它当缺陷修掉,改的是游戏而不是关卡。
- 现在怎么做
- 只在审核页标出,交给人裁定。
agent 能测什么,不能测什么
| 指标 | 可用 | 依据 |
| 盲转 / 多余转 / 转错方向 | 可用 | 复测 r ≈ 0.82–0.92;驱动了真实修复(1.17 / 1.22 / 0.44 → 0) |
| 是否通关、空点次数 | 可用 | 直接观察,无主观成分 |
| 自由文本抱怨 | 可用 | 33 条里两个主题高度重复,指标抓不到;但须对照基线(规则 5) |
| 难度评分 | 只能看总体 | 稳定但不区分;单关排序不可用,整批读数(偏易一档)可用 |
| 无解感评分 | 谨慎 | 复测 r = 0.85,与无效动作相关 0.66,可当挫败感的代理 |
| 好玩 / 清晰度 / 旋转评分 | 不可用 | 复测 r ≤ 0.56,是模型噪声 |
要做 1000 关的话
- 先把判据写成可执行的闸门,再开始生成。这一轮的闸门链是:长成 → 首转双向 → 锁住 ≤90% → 无不可解态 → 终局朝向 ≥2 → 每转释放 ≥2 → 反差 ≥12 → 开局可点 ≥3 → 开局演出 ≥0.9s → 长巡游 ≥3。每一级剩多少必须打印出来。
- 用规则机器人做全量验收(12 秒 / 全池),不用 agent。机械旋转指标已证明测的是关卡不是玩家。
- agent 只抽样跑,而且只看两样东西:机械缺陷指标,和自由文本抱怨。不要为难度标定花 agent 时间——那条路这一轮已经证明走不通。
- 难度曲线靠机械假设铺,靠人眼裁定。用
select-50.mjs 按特征打分并均匀铺开,家族上限防止一套模板占满(上一版 1000 关实际只有 30 套模板)。
- 每一轮只动一个变量,并且必须能在漏斗里看到它挡掉了什么,否则撤回。
- 人工审核要准备好材料:开局盘面从求解器取(不是示意图)、标明哪些数字可信、每关一个试玩直达链接。
被实测否掉的做法
| 试过什么 | 结果 |
| 拟合 difficulty ~ 机械特征,用来重选关卡 | 响应几乎无方差(46/50 同分),回归的是常数 |
| legibility(一眼看穿的成本)解释难度评分 | 相关 -0.02,无效;降级为纯测量 |
| 路线交叠度当难度轴 | 中位已达 89%,没有上升空间 |
| 换开局朝向来提高判断成本 | 127 个候选里只有 7 个变好 |
| 「插入端多朝向出口」过滤器 | 对漏斗零效果,已删除 |
| 把锁住比例当难度主轴排序 | 方向反了:它奖励「开局什么都做不了」 |