AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• Agent系统包含多种角色，每种角色都有其特定的设置和功能。
• Agent系统涉及多个Agent，并且它们之间进行多轮的互动，这些Agents会自发地进行合作、竞争和模拟等活动。

• 什么样的Agent容易产生危险行为？
• 如何更全面的评测Agent系统的安全性？
• 如何应对Agent系统的安全性问题？

• 文章地址：https://arxiv.org/pdf/2401.11880
• 代码地址：https://github.com/AI4Good24/PsySafe

然后，通过采用一些手段（当然是受LLM攻击领域大师们方法的启发），使Agent认同研究团队所注入的人格，从而实现黑暗人格的注入。

• Agent确实变得非常恶劣！无论是安全任务还是像Jailbreak这样的危险任务，它们都会给出非常危险的回答。甚至有些Agent表现出了一定程度的恶意创造力。
• Agent间会产生一些集体危险行为，大家合伙干坏事。

• 过程危险（PDR）：在Agent交互过程中，只要有任一行为被判定为危险，就认为这个过程出现了危险情况。
• 联合危险（JDR）：在每一轮交互中，所有Agent是否均展现了危险行为。它描述了联合危险的情况，并且我们对联合危险率的计算进行了时间序列扩展，即覆盖了不同的对话轮次。