Tag

#memory poisoning

记忆安全

Agent 拒绝一次还不够:记忆投毒需要状态修复与跨会话验收

MemPoison 与 Bad Memory 共同暴露了一个常被忽略的缺口:当前会话拒绝恶意指令,不代表持久状态已恢复安全。本文把记忆投毒治理拆成写入、检索、消费、隔离、修复与跨会话验收,并给出可落地的数据模型、状态机和回归协议。

记忆安全

Agent 记忆安全要保护推理痕迹

FARMA 和 GhostWriter 把记忆投毒从污染事实条目推进到污染推理历史和个人助理工作状态。生产 Agent 不能把历史 reasoning、decision log 和经验摘要默认当成可信证据,而要在写入、检索、行动前同时做来源绑定、推理痕迹完整性检查和高风险动作授权。

AI 记忆系统

长期记忆授权不能只看内容,必须绑定写入来源

TMA-NM / MEM-INV-Bench 把 Agent 记忆投毒的防御焦点从内容检测和 lineage 追踪推进到 write-time origin binding:每条记忆在写入时就要绑定来源权威,并且只能通过独立可信主体背书提升权限。工程上这意味着 memory store 要像安全子系统,而不只是向量库。

安全分析

记忆投毒进入第二阶段:绕过选择性记忆,劫持工具选择

从 MemPoison 和 MemMorph 看,Agent 记忆攻击正在从“把恶意内容写进长期记忆”推进到“让恶意内容通过抽取、重写、检索和工具推理链条”。生产系统需要把记忆写入、来源权威、检索召回和工具授权放进同一套评测。