新题编程能力

公开研究由加州大学伯克利分校、MIT、康奈尔大学等团队参与，并发表于 ICLR。

题目持续取自新发布的主流编程竞赛问题，用执行测试而不是文字评审判断代码是否真正可用。

静态代码基准可能被训练数据覆盖，该评测持续收集新发布的竞赛编程问题，以降低题目污染并保持难度更新。

完整框架覆盖代码生成、自我修复、代码执行和测试输出预测；当前配置使用 315 道代码生成题进行统一比较。

• 理解算法题、约束、输入输出和已有函数签名。
• 生成可执行 Python 解法并处理隐藏边界条件。
• 将推理落实为能通过全部单元测试的程序。

• 运行 315 道 Python 代码生成题，每题重复 3 次。
• 代码在 Ubuntu 22.04 LTS、Python 3.12 环境中执行。
• 沿用题目提示格式，但不应用额外的通用或模型定制系统提示。

• 有起始代码时，模型按指定函数头补全解法；无起始代码时，从标准输入读取并写入标准输出。
• 只从 python 代码围栏中提取程序，然后在隔离环境执行隐藏单元测试。
• 每题重复 3 次并记录每次首次生成代码是否通过全部测试。

• 一次生成只有通过该题全部单元测试才计为成功，采用 pass@1。
• 最终分数为 315 道题、每题 3 次运行的平均通过率。

• 主指标为代码执行 pass@1 百分比。
• 同时报告输入、推理、答案 Token，评测成本与每任务用时。
• 结合模型发布日期呈现分数，以观察新题上的能力变化。

• 当前配置只运行 Python 代码生成子集，不能代表完整软件工程能力。
• 全部测试必须通过的二元评分不区分接近正确与完全错误。
• 持续加入新题可降低已知污染风险，但不能证明训练数据绝对未覆盖。