AI 自主
AI 提 3 个候选,自己选 1 个,做实验,读结果,下一轮。
生成AI 选实验
AI 科学家 · 受控对照 · 2026
谁来给 AI 科学家掌舵?
同一题目、同一模型、同一预算,只换“谁来选下一个假设”。看结果差多少,也看 AI 自己的判断偏在哪里。
三种掌舵方式
AI 提 3 个候选,自己选 1 个,做实验,读结果,下一轮。
决策者在 3 个候选里点一个,只给编号,不给理由。
决策者写一段批评,AI 逐条回应后自己选,批评也进入下一轮生成。
每任务 20 轮 · 每轮一次对照 + 一次干预 · 只看冻结验证集;测试集只在最后对验证最优的代码评一次。
偏差诊断 · 1051 轮 · 仅验证分
加载中…
A 臂约一半,B、C 约十分之一。判定不该由模型自述,而该由分数驱动。
20 轮取最优会把噪声当改进。改进须在第二份验证集上复现才计入。
刚改进后成功率 47.7%,连续 4 轮失败后 14.5%。需强制记住已证伪方向。
选第 1/2/3 个候选约 39/32/28%,选最长 42%,成功率差异在区间内。
脚本 scripts/bias_analysis.py · 生成于 —
结果
横轴为差距关闭比例:冻结基线到满分的距离记 100%,看各臂 20 轮在验证集上走了多少。点任一行看逐轮轨迹。
测试分只对每臂“验证最优”的代码评一次;奖牌线仅作参照。* CHAMPS 测试分无效,不计入比较。
任务与轨迹
主要发现
加载中…