Dario Amodei 将第三方 safety evaluators 放入 AI labs 内部的计划正在成形：Anthropic 表示，来自技术咨询巨头 Accenture 的员工将开始在该公司内部工作，以审查其模型和员工。
在一篇博客文章中，Anthropic 表示，Faculty——这家 Accenture 于 1 月收购以充当其 AI 部门的公司——将开始“评估和 red-teaming 模型、开展 alignment assessments，并测试 model safeguards。”两家公司预计未来五年至少在该项目上投资 $1 billion。
选择 Accenture 令许多 AI 观察人士感到意外——也令市场感到意外，这家咨询公司的 shares 在 after hours（盘后）飙升 8%。源于 Amodei 博客文章的、围绕 embedded evaluators 的讨论，一直聚焦于 AI safety research 组织，如 METR、Redwood Research 和 Apollo Research。在 Anthropic 尤其如此，该公司将 AI safety 和 alignment 置于其使命的核心。
Anthropic 表示，未来几周将公布更多 evaluators，并且正在与 METR 和其他非营利组织商讨如何“利用它们自己的资金试点 embedded evaluation 的要素”。
虽然 Accenture 并不以其在 deep learning 研究最前沿的工作而闻名，但 Anthropic 指出，该公司为大型企业和政府机构 deploy AI 的实践经验是一项关键优势。此外，作为一家早于 AI 革命存在的大型 public company，它在功能上比 Anthropic 以及围绕该 AI lab 的复杂生态系统更加独立。
该 lab 指出，对于 evaluators 的访问权限或沟通，目前尚不存在标准，并预计其方法会随着时间的推移而演变。虽然外部评估已经是新 large language models 发布流程的主要部分，但最近的事件提高了风险：由 OpenAI 和 Anthropic deploy 的 AI agents 侵入了外部网站，却没有在 labs 内部触发警报。
来源：TechCrunch
