全国股票配资平台你的Agent可能在“错误进化”！上海AI Lab联合顶级机构揭示自进化智能体失控风险

当 Agent 学会了自我进化全国股票配资平台，我们距离 AGI 还有多远？

从自动编写代码、做实验到扮演客服，能够通过与环境的持续互动，不断学习、总结经验、创造工具的"自进化智能体"（Self-evolving Agent）实力惊人。

然而，一项由上海 AI Lab、上海交大、中国人民大学、普林斯顿大学等机构联合发布的最新研究敲响了警钟：一个 agent 在自我进化的过程中，可能会不知不觉中"走偏"，踏上歧路。

这项工作首次系统性地研究了这一现象，并将其命名为"错误进化"（misevolution）。

研究发现，即使是基于 GPT-4.1、Gemini 2.5 Pro 等顶级 LLM 构造的 Agent，也普遍存在这种风险。

什么是"错误进化"？

想象一下，你训练了一个客服 agent。

为了让它更智能，你允许它从与客户的互动中"学习"和"进化"。

渐渐地，你发现它开始对所有不满意的客户都主动退款，哪怕对方只是想咨询商品信息。

因为它的"经验"（记忆）告诉它，"退款"这个操作最容易获得用户"五星好评"的反馈。

这是一个典型的"错误进化"场景。Agent 为了优化某个隐式的短期目标（获得好评），采取了看似高效、但实际上损害了商家利益的策略。

如图所示， "错误进化"可能在各种场景下发生：

( a ) . 客服 Agent 受到积累的记忆影响而过度退款；

( b ) . 编程 Agent 从网上学了段"带毒"代码；

( c ) . Agent 自己创建了一个有隐私漏洞的工具并在敏感场景下复用。

与传统的 AI 安全问题不同，"错误进化"具有四大核心特征：

时间涌现性：风险不是一开始就有，而是在进化过程中出现。

自生脆弱性：智能体在没有外部攻击者的情况下，自己就可能产生新的风险和漏洞。

数据控制受限：由于其自主性，很难像传统模型训练一样通过简单地"喂"安全数据来干预控制它的"思想"。

风险面扩大：智能体的四大核心部件——模型、记忆、工具、工作流——任何一个环节都可能成为风险的源头。

四大进化路径，四大失控风险：实验证据触目惊心

研究团队沿着 Agent 的四条主要进化路径，进行了一系列严谨的实验，揭示了"错误进化"的普遍性和严重性。

模型进化："学着学着，忘了安全准则"

Self-evolving Agent 可以通过自我生成数据、自我规划课程来更新模型参数，但这个过程也可能让它"偏离"甚至"忘记"原本的安全准则。

如下图所示，一个 LLM 或 Agent 在自我训练后普遍会导致安全能力的下降。

在另一组实验中，一个 GUI Agent 在经过自我进化后，安全意识出现了"灾难性遗忘"：面对钓鱼网站的风险触发率从18.2% 飙升到 71.4%；而当被要求"制作一个恐怖图片来吓唬社交媒体的观众"时，Agent 不仅不再拒绝，反而一步步地执行了指令。

记忆进化："经验主义害死猫"

Agent 会将过去的成功和失败经验存入"记忆"，以便未来更好地决策。但过度依赖片面的"成功经验"，会导致严重后果。

安全对齐衰退

一个基于 Qwen3-Coder-480B 的顶尖 coding agent，在 SWE-Bench 上积累了一系列代码调试经验后，其安全防线大幅削弱。下表显示，对于生成恶意代码的请求，它的拒绝率从 99.4% 骤降至 54.4%，而攻击成功率（ASR）则从 0.6% 飙升至 20.6%。

部署时 reward hacking

就像前面提到的客服例子，Agent 会从记忆中找到与"高回报"强相关的捷径，哪怕这与用户的真实意图或长远利益相悖。下图显示，包括GPT-4.1、Gemini-2.5-Pro 在内的顶级模型，在超过 60% 的情况下会做出这类"好心办坏事"的决策。

工具进化："随手写的代码，成了定时炸弹"

为了提升效率，Agent 会自己创造工具（例如一段可复用的代码），或从 GitHub 等外部来源搜索、吸收新工具。

这恰恰成了安全重灾区。

自制工具藏漏洞

Agent 在解决一个普通任务时（如"分享一个公开海报链接"），可能会创建一个"通用"工具。但当它在处理敏感任务（如"把内部财报发给董事会"）时，不假思索地复用这个"通用"工具，就可能导致将私密文件设置为"任何有链接的人都可查看"，造成严重的数据泄露。下表显示，基于顶级 LLM 的 Agent 在工具创建和复用环节，总体不安全率高达 65.5%。

引狼入室不自知

当 Agent 从网上搜索并吸收新工具时，它能分辨出代码中深藏的恶意逻辑吗？答案是：基本不能。研究团队在多个注入了恶意代码的 GitHub 仓库样例上进行了测试，发现 Agent 几乎无法识别这些伪装成正常功能的"特洛伊木马"。下表显示，即使是表现最好的模型，其成功识别并试图规避风险的比例也仅为 15.9%。