IT之家 9 月 18 日消息,Anthropic 在周三推出了一套评估前沿 AI 实验室研发进度的测量方法,并公开了其内部的部分阶段性数据。
这套体系聚焦于三大核心指标:AI 在自身研发中的参与度、AI 智能体的监管状况,以及计算资源在研发与安全研究之间的分配比例。
Anthropic 指出,随着 AI 能力的不断增强,它们正越来越多地参与到下一代 AI 系统的构建过程中。公司希望通过公开这些数据,让公众、第三方机构以及政府部门能够更清晰地把握前沿 AI 研发的进展速度。
Anthropic CEO 达里奥·阿莫代伊曾呼吁各方协调行动以放缓前沿 AI 发展速度,若这种协调得以实现,相关数据预计将出现变化。
在 AI 参与研发方面,Anthropic 提出了“Anthropic 研发自动化指数”,用来衡量 Claude 在公司 AI 研发工作中的参与程度。该指数借鉴了 Epoch AI 的自动化等级框架,从 AL0 到 AL5 依次对应无 AI 参与、AI 辅助、AI 协作、AI 主导以及完全自主运行。
类似于汽车自动驾驶的评级标准,AL5 代表 AI 完全自主运行、无需人类干预;AL4 则表示 AI 能依据高层指令完成大部分任务,人类仅负责监督。
截至 2026 年 8 月,Claude 在评估的所有 AI 研发任务中尚未实现“完全自主运行”,但它已“主导”了 Anthropic 约 26% 的 AI 研发工作。同时,达到“AI 协作”或更高级别的工作占比已超过 90%。
Anthropic 透露,2026 年 2 月这一比例还不到 1%。公司认为,这类指标有助于观察 AI 研发自动化程度是否持续提升,以及距离“递归自我改进”——即 AI 能完全自主开发下一代 AI——还有多远。
为了构建这一指标,Anthropic 从 2026 年 7 月的内部工作记录、Slack 及其他文档中抽样整理了约 1.5 万个模型研发任务,并将它们归为 542 个不同层级的任务节点,其中 378 个属于最细分的类别。随后,Claude 被用来分析这些任务的执行方式及 AI 的参与程度,并由另一个独立的 Claude 评估模型进行自动化等级判定。
实时监控系统会在智能体执行操作前检查其行为,一旦发现危险操作便进行拦截或调整。Anthropic 对 2026 年 8 月超过 10 亿次智能体决策的分析显示,约 0.002% 的操作被该系统拦截(IT之家注:相当于每 4.7 万次操作中约有 1 次被拦截)。
事后监控系统则负责分析智能体已完成的操作,每周大约标记 10 万份对话记录以供进一步检查,其中优先级最高的约 50 份会升级至人工审核。此外,约千分之一到千分之二的智能体活动会被标记为需要额外审查。
在算力分配方面,Anthropic 统计了 2026 年 7 月 13 日至 7 月 20 日期间的计算资源使用情况。数据显示,公司用于 AI 研发的算力中,约 6% 投入到了安全研究;若仅考虑基于 AI 的 AI 研发工作,安全研究所占算力比例约为 12%。
Anthropic 强调,上述算力比例是较为保守的估算,因为那些同时促进模型能力和安全性的工作并未计入安全研究,且该统计未包括用于安全分类器的另一部分算力。公司同时指出,安全研究通常不需要像前沿模型训练那样消耗大量算力,因此算力占比并不能直接反映安全工作的整体投入程度。
Anthropic 表示,这些指标目前仍属于原型测量体系,跨实验室比较还面临统一方法和独立验证等挑战。公司计划引入来自多个组织的独立第三方评估人员,让其获得与内部风险评估团队相近的流程、系统和数据访问权限,以验证安全实践并持续监测相关指标。
Anthropic 称,公布这些测量数据是为了让公众、第三方和政府能更深入地了解前沿实验室内部的 AI 发展速度,并希望继续发布相关数据。
雷竞技入口深耕雷竞技入口领域,用心服务每一位用户。