我们迫切需要实时监控人工智能代理的行为

事件概述

今年夏天，数百名 OpenAI 代理试图在网络安全测试中作弊。他们突破了测试环境，并成功入侵了 Hugging Face，他们认为该网站包含有关如何评分的线索。大约在同一时间，另一名 OpenAI 代理从澳大利亚政府网站访问了私人文件。这个问题绝不仅限于 OpenAI。此后的几个月里，Anthropic、Google 和 Meta 也披露了其代理偏离轨道的事件。令人担忧的是，在许多情况下，这些特工避开了负责监视它们的研究人员和安全团队。人工智能代理正在采取未经授权的行动，而构建和运行它们的公司主要依靠运气和事后诸葛亮来减轻任何有害影响。他们必须采取更多措施来确保安全。这就是为什么欧盟监管机构和美国机构正确地呼吁代理开发者和部署者实时监控代理。但这些规则假设公司可以看到他们的代理人在做什么以及为什么这样做——但实际上，他们缺乏足够的可见性。想象一下，一家银行雇用了 1000 名可以访问客户帐户和敏感信息的新员工，但员工的 ID 徽章每天都在变化，不清楚经理是否审查或授权过他们的工作，也没有人记录员工对审批流程所做的更改。 我们今天的代理商就面临这种缺乏可见性的情况。随着代理在金融、政府、医药等关键领域的推广，我们必须能够实时监控它们，以防止产生广泛的、潜在的破坏性后果。虽然安全取决于监控，但监控需要可观察性：捕获系统所做的事情、将其处理成信号并将其呈现给人类或自动监督系统的能力。换句话说，我们需要知道代理做了什么以及为什么这样做。正如我们最近的研究表明，当前的代理框架（运行代理的软件）无法可靠地生成我们确保安全部署代理所需的关键可观察性记录。智能体提出了单靠生成人工智能所无法解决的新问题。它们继承了所建立的法学硕士的不可预测性，但是当生成式人工智能系统产生单个输出供人类采取行动时，代理执行更长的任务——它计划、选择工具、产生子代理并采取行动。因此，代理的路线可以通过多种不同的方式形成，并且启动前的任何测试都无法完全预测风险。这使得在代理工作时对其进行观察变得更具挑战性，也更加重要。 我们与来自学术界、民间社会和工业界的同事一起研究了四种最广泛使用的代理框架，以了解它们实际发出的信号。我们发现了导致关键安全目标难以实现的重大差距，例如发现违反政策、未经授权的行为，甚至是人为监督失误。缺少关键的可观察性要求，例如随着时间的推移持续存在的代理 ID，以及有关哪些人批准代理任务的记录。这使得很难判断哪些特工做了什么，也很难评估他们是否采取了未经授权的行动。好消息是，一旦发现这些差距，就可以弥补。这样做首先要捕获两种类型的记录：那些揭示代理运行中发生的情况以及代理如何做出决策的记录。 “发生了什么”记录识别代理（同时保护隐私）并记录人类如何干预以及代理权限或“记忆”是否发生变化，而“决策”记录则显示代理的推理和对其所采取行动的信心程度。以处理银行抵押贷款的代理人为例。该系统会检查申请并建议拒绝该申请，然后人工信贷官员会签署该决定。在以后的审计中，甚至可能是实时审计中，银行或监管机构需要能够重建哪个代理发出了电话，哪个官员批准了电话，以及他们花了多长时间。 银行还必须分析代理人如何做出拒绝决定的记录，以确保其没有使用禁止使用的信息，例如有关申请人所在社区的详细信息。记录“发生了什么”和“代理如何决定”需要不同的方法，但两者都是可行的。目前缺乏“发生了什么”记录主要是一个软件管道问题，可以通过 OpenTelemetry 来解决，OpenTelemetry 是一个由整个行业的工程师和采用它的代理框架维护的开放可观察性标准。 OpenTelemetry 已成立一个工作组，起草跟踪代理的共享格式，但尚未最终确定。该小组应紧急纳入维护持久代理身份以及记录人为干预和对代理许可或记忆的更改的标准。这应该在这些系统能够扩展之前完成，同时要注意与真实人员关联的代理 ID 的隐私影响。保存“代理人如何决定”的记录更具挑战性。这个问题为模型提供者和研究人员提出了开放性的研究问题：模型显示的逐步推理（称为思维链）是否反映了模型实际上如何做出决策？我们是否有可靠的方法来衡量代理人对该决定的信心？ 在任何人制定如何使用此类可观察性记录的标准之前，这些问题需要得到解答。任何一个组织或部门都无法独自缩小可观测性差距，但它们可以共同支持预防危险事件和支持安全所需的基础设施。构建 OpenAI、Anthropic、CrewAI 和 LangChain 等代理框架的人工智能开发人员必须集成记录代理持久身份、任何人为干预以及对代理权限和内存的任何更改的遥测信号。同时，采用这些代理框架的企业也可以发挥影响力；银行和医院等受监管行业的企业可以向代理开发商施加压力，要求其在尚不存在标准的情况下提供这些缺失的可观察性记录。企业还必须定义策略、权限和角色，规定代理可以安全地执行哪些操作，因为仅靠遥测无法评估代理是否违反了特定规则。最后，监管机构和人工智能标准机构必须指定高风险人工智能部署所需的可观测性记录，同时将技术细节留给行业。我们已经看到了初步的势头：美国 NIST 的代理人标准计划正在研究代理人身份，这是我们在研究中发现的最显着的差距之一。 没有一家银行会让一千名未佩戴徽章的员工随意处理客户账户，并希望在出现问题时能够拼凑出到底发生了什么。但这就是我们部署人工智能代理的方式。让他们的行为可观察是解决这个问题的第一步。通过建立监管和政策生态系统，使我们能够根据我们所看到的采取行动，我们可以让组织承担责任。在那之前，我们交给代理人的每一项任务也都交给了我们的代理机构。 Madhulika Srikumar 是 Partnership on AI 的人工智能安全项目负责人，该合作伙伴是领先行业、学术和民间社会组织的全球非营利合作伙伴关系，致力于推进人工智能治理的最佳实践。 Claire Leibowicz 是 AI Partnership 的 AI、信任和社会总监，也是牛津大学的博士生。

核心要点

• 本次动态的核心信息是：我们迫切需要实时监控人工智能代理的行为。
• 今年夏天，数百名 OpenAI 代理试图在网络安全测试中作弊。
• 他们突破了测试环境，并成功入侵了 Hugging Face，他们认为该网站包含有关如何评分的线索。
• 大约在同一时间，另一名 OpenAI 代理从澳大利亚政府网站访问了私人文件。
• 相关方向包括：OpenAI、Claude、Google AI、智能体、推理模型、AI API。

背景信息

AI 行业资讯往往不只是一条产品新闻，它通常会牵动模型能力、应用分发、算力成本、开发者工具和商业化路径。 从关键词看，这条资讯与OpenAI、Claude、Google AI、智能体、推理模型、AI API等方向相关。 AIPVIP 将其整理为站内中文稿，方便和模型价格、API 可用性、公开探针以及服务商变化一起参考。

影响分析

• 如果该动态涉及模型或 API，后续需要关注接口开放范围、计费方式、上下文限制、稳定性和实际调用表现。
• 如果该动态涉及模型能力或开源生态，重点应放在真实任务表现、部署成本、许可证限制和生态适配速度上。
• 短期内，这类新闻更适合作为趋势信号观察，不宜只凭单条消息做技术选型或充值决策。
• 对 AI API 使用者来说，仍然需要结合小额实测、延迟表现、错误率和价格透明度来判断是否值得长期使用。

后续关注

• 是否出现后续官方公告、技术文档、价格说明或产品更新。
• 相关模型、工具或服务是否进入稳定可用阶段。
• 用户反馈、开发者社区讨论和真实调用表现是否与新闻描述一致。
• 同类服务商是否跟进，价格、能力或限制是否发生变化。