真实职业任务综合表现

公开职业任务研究由模型研究人员与具有行业经验的专业人士共同构建，职业分类覆盖多个主要行业与岗位。

当前榜单记录使用固定任务、统一沙箱和匿名盲配对规则，重点比较可交付成果的质量，而不是模型对自身能力的描述。

任务由具有行业经验的专业人士设计，要求生成文档、幻灯片、图表、示意图和电子表格等完整工作成果，而不是回答简短问题。

当前版本扩充了沙箱依赖、修正少量环境与提示问题、把轮数上限提高至 250，并以三位评审组成的评审池替代单一评审。

• 把复杂职业要求转化为可交付文件
• 结合参考文件、网页检索、计算和视觉信息完成任务
• 在长流程中规划、检查并提交多个成果文件

• 每项任务初始化新的隔离 Linux 沙箱，放入对应参考文件和文档处理、科学计算与排版工具。
• 智能体可使用网页获取、网页搜索、图片查看、代码执行、完成提交和放弃任务六类工具。
• 部分无法正常打开的办公文件仅修复缺失元数据或关系项，不改变正文、幻灯片内容与版式。

• 智能体在最多 250 轮内读取材料、生成一个或多个文件，并通过完成工具提交。
• 上下文使用超过 70% 时先总结当前状态，再压缩早期历史并继续任务。
• 同一任务的两份匿名提交进入盲配对；先平衡抽样，再优先比较 Elo 接近的模型。

• 每次比较由三位评审组成的评审池中抽取一位，选择较优提交或判为平局。
• 所有配对结果用 Bradley–Terry 最大似然模型拟合；平局各计半胜，置信区间使用 sandwich estimator。
• Elo 锚定人类专家成果为 1000；模型加入综合指数时会冻结当时的 Elo，再使用 clamp((Elo - 500) / 2000) 归一化。

• 报告 Elo、95% 置信区间及代表性任务提交。
• 展示每任务成本、总成本、输出 token、平均轮数和发布日期关系。
• 保留匿名配对结果用于解释 Elo 的相对差异。

• 每个任务只运行一次，单次沙箱或生成波动会直接进入结果。
• Elo 是相对指标，会随比较池与新增提交变化。
• 模型评审能够处理复杂文件，但仍存在评审偏差和不确定性。