复杂知识工作综合评分

该维度采用固定项目、统一隔离环境和一致评分规则，重点考察最终交付物，而不是模型在对话中的自我描述。

成对盲评、原子量表与置信区间共同用于降低单一评审和单一任务带来的偶然性。

评测把数据科学、产品管理、公司战略等工作组织为连贯的多周项目。任务共享组织背景与资料池，要求产出表格、演示文稿、备忘录等真实工作成果。

每个任务仍以单独运行完成，不继承模型在先前任务中的自有提交；后续任务可获得统一的基准文件，以维持项目连续性和横向可比性。

• 从大量混杂资料中发现要求、证据与跨文件冲突
• 完成长流程分析并生成可编辑的专业交付物
• 兼顾可验证正确性、分析严谨度和专业呈现

• 每周在隔离、无网络的沙箱中运行，只能访问共享资料和当周资料。
• 资料包含聊天记录、表格、PDF、访谈、市场研究、标准文档、董事会材料和邮件等真实、增强或合成内容。
• 提供代码执行、提交和放弃工具；支持视觉的模型还可查看图片。

• 智能体接收当前任务说明和可访问资料，在最多 500 轮内完成指定文件。
• 完成后提交摘要与交付文件的绝对路径；未提交的文件不参与评分。
• 每项任务分别接受二元量表检查，以及分析质量和呈现质量的盲配对比较。

• 量表检查为严格的通过/失败，不提供部分分；只依据提交成果中的证据判定。
• 分析质量比较更深入、结构更清晰且证据更充分的成果；呈现质量比较更专业的成果。
• 主指标把分析质量 Elo、呈现质量 Elo 和量表通过率转换后的 Elo 合并；Elo 与 95% 置信区间下限均不低于 0。

• 报告综合 Elo、量表通过率、分析质量 Elo 和呈现质量 Elo。
• 按 Excel、PowerPoint、PDF、Word 与其他文件类型拆分表现。
• 同时报告每任务成本、工具调用、资料探索覆盖率和发布日期关系。

• 四个正式项目的完整任务与资料不公开；第五个公开场景只用于说明结构，不计入正式成绩。
• 任务独立运行，因此不测量模型跨周记忆自身成果的能力。
• 评分包含模型评审，虽采用平衡抽样与盲化，仍可能存在判断不确定性。