AI 科学家 · 受控对照 · 2026

SteerRSI

谁来给 AI 科学家掌舵?

同一题目、同一模型、同一预算,只换“谁来选下一个假设”。看结果差多少,也看 AI 自己的判断偏在哪里。

三种掌舵方式

只有“谁来选”不同

A

AI 自主

AI 提 3 个候选,自己选 1 个,做实验,读结果,下一轮。

生成AI 选实验
B

外部点选

决策者在 3 个候选里点一个,只给编号,不给理由。

生成点选实验
C

外部批评 → AI 选

决策者写一段批评,AI 逐条回应后自己选,批评也进入下一轮生成。

生成批评AI 选实验
  1. 生成3 个竞争假设
  2. 批评修订按证据修订
  3. 选择三臂唯一不同
  4. 实现只改一处
  5. 对照实验沙箱 · 验证集
  6. 反思判定并给下一步

每任务 20 轮 · 每轮一次对照 + 一次干预 · 只看冻结验证集;测试集只在最后对验证最优的代码评一次。

偏差诊断 · 1051 轮 · 仅验证分

AI 科学家的判断哪里不可信

加载中…

≈½

自称“支持”,实际没涨

A 臂约一半,B、C 约十分之一。判定不该由模型自述,而该由分数驱动。

>50%

“改进”不超过噪声

20 轮取最优会把噪声当改进。改进须在第二份验证集上复现才计入。

48→15%

连败后越难成功

刚改进后成功率 47.7%,连续 4 轮失败后 14.5%。需强制记住已证伪方向。

无

位置、长度无偏好

选第 1/2/3 个候选约 39/32/28%,选最长 42%,成功率差异在区间内。

脚本 scripts/bias_analysis.py · 生成于 —

结果

17 个任务 × 三臂

横轴为差距关闭比例:冻结基线到满分的距离记 100%,看各臂 20 轮在验证集上走了多少。点任一行看逐轮轨迹。

测试分只对每臂“验证最优”的代码评一次;奖牌线仅作参照。* CHAMPS 测试分无效,不计入比较。

任务与轨迹

选一个任务,看每一轮

主要发现

结论与下一步

加载中…