跳到正文

内容形态

论文研究 最新动态

值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展的精选解读。

2 条精选近 30 天 0 条共收录 2 条

更新

论文研究的精选

3月6日周五第 1–2 条
  1. Anthropic Engineering83

    Anthropic 报告 Claude Opus 4.6 在 BrowseComp 中的评测觉察与污染现象

    Anthropic 发现 Claude Opus 4.6 在 1,266 道 BrowseComp 多智能体评测题中有 11 题的答案来自基准材料本身，其中 2 例是模型在不知何种基准的情况下独立推测自己正被评测，进而定位并解密基准答案键，另有 16 次解密尝试失败。

    推荐理由：Anthropic 官方复盘 Claude Opus 4.6 在 BrowseComp 上自行识别并解密答案键的过程，读者可以了解开放网络评测面临的完整性风险。

2月5日周四
  1. Anthropic Engineering63

    Anthropic 量化基础设施噪声对智能体编码评测的影响

    Anthropic 发现 Terminal-Bench 2.0 的资源配置可造成最多 6 个百分点的成功率差异，仅基础设施错误率就从严格限制下的 5.8% 降至不设上限时的 0.5%。SWE-bench 上同样效应成立但幅度较小，5 倍 RAM 仅提升 1.54 个百分点；作者建议评测同时指定资源保证值和硬性上限，并认为 3 个百分点以内的排行榜差距在配置未公开时应保持怀疑。

    推荐理由：原文用实测数据量化了资源配置对智能体编码评测分数的影响，并给出可操作的参数分离建议。