终端环境任务成功率

公开任务框架由 Laude Institute、斯坦福大学研究人员与开源社区共同维护，任务包含人工解法和机器可执行验证。

当前榜单记录采用 89 项经校验任务、统一隔离终端环境和三次重复运行，以机器可执行测试判定是否完整完成。

v2.1 是对 v2.0 的核验刷新，保留 89 项人工策划任务，并修补容器环境与任务说明问题；约十余项任务修正了依赖缺失或说明与测试不一致的情况。

每项任务都有独立环境、人工解法与完整验证套件，结果强调是否真正完成终端任务，而不是只评判文字回答。

• 在命令行中规划并执行多步骤操作。
• 调试软件、系统服务、数据流程与安全配置。
• 根据验证反馈修复环境并交付可运行结果。

• 为每项任务启动隔离沙箱，并载入该任务的唯一终端环境。
• 任务随附机器可执行的验证套件；智能体通过终端执行框架与环境交互。
• 每个模型对每项任务运行 3 次。

• 向智能体提供任务说明和终端访问权限。
• 智能体在环境内创建、修改、运行并排查所需资源。
• 任务结束后运行随题验证套件，记录本次是否通过。

• 单次运行由验证套件给出通过或未通过。
• 每项任务取 3 次重复的 pass@1，再对全部 89 项任务求平均。
• 主成绩以百分比报告，数值越高表示完成任务的稳定性越强。

• 报告 pass@1 总分及随发布日期的变化。
• 报告每任务平均输出 Token，并拆分推理 Token 与答案 Token。
• 报告每任务成本和加权平均解码时间；时间不包含首 Token 等待与额外开销。

• 结果只覆盖这 89 项终端任务，不等同于所有软件工程或运维工作。
• 通过与否依赖随题验证套件能够观察到的最终状态。
• v2.1 修复了旧版环境与说明问题，跨版本比较时应区分任务版本。