論文の概要: Securing LLM-Agent Long-Term Memory Against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees
- arxiv url: http://arxiv.org/abs/2606.24322v1
- Date: Tue, 23 Jun 2026 08:57:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.855051
- Title: Securing LLM-Agent Long-Term Memory Against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees
- Title（参考訳）: LLM-Agent Long-Term Memory against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees
- Authors: Yedidel Louck,
- Abstract要約: LLMエージェントは、永続的な長期記憶にますます依存している。
相手は信頼できないコンテンツを1つのセッションに格納することができ、後に支払い、設定変更、データ流出などの連続的なアクションを操縦する。
既存の防衛は、記憶項目の権限に基づいて、その内容(判断または信頼評価)または導出履歴(線)に作用する。
攻撃者は、LLMエージェントに特有の3つのチャンネル(エージェントの要約、信頼できるツールエコー、製造されたコロンボレーション)を通じて、信頼できない起源を洗い流すことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents increasingly rely on persistent long-term memory, which creates a critical vulnerability that we study here: memory poisoning. An adversary can store untrusted content in one session that later steers a consequential action, such as a payment, a setting change, or data exfiltration, in a future session. Existing defenses base a memory item's authority to act on either its content (detection or trust-scoring) or its derivation history (lineage). We show that both signals are malleable. An attacker can launder an untrusted origin through three channels specific to LLM agents: the agent's own summarization, a trusted-tool echo, and manufactured corroboration. Each makes the content look benign and breaks or flips its derivation edge to ``trusted.'' We formalize malleability for the memory write-retrieve-act pipeline and prove a machine-checked separation theorem. No content- or lineage-based defense is sound under laundering (T1), write-time origin binding is necessary (T2), and non-malleable origin-bound authority with Sybil-resistant corroboration-gated elevation is sufficient (T3). Our construction, TMA-NM (Tamper-evident Memory Authority, Non-Malleable), instantiates non-malleable information-flow control (IFC) for LLM-agent memory. A cross-defense, cross-attack, and cross-model benchmark over eight frontier models shows that existing defenses fail exactly where the theory predicts (up to 68% laundering attack-success), while TMA-NM reaches 0% attack success on both direct and laundering attacks across all models and channels, at full legitimate utility. We release the benchmark, harness, and machine-checked TLA+ models to support reproducibility.
- Abstract（参考訳）: LLMエージェントは、永続的な長期記憶にますます依存している。
相手は信頼できないコンテンツを1つのセッションに格納することができ、後に支払い、設定変更、データ流出などの連続的なアクションを将来のセッションで行うことができる。
既存の防衛は、記憶項目の権限を、その内容(判断または信頼評価)または導出履歴(線)に作用させる。
どちらの信号も可鍛性を示す。
攻撃者は、LLMエージェントに特有の3つのチャンネル(エージェントの要約、信頼できるツールエコー、製造されたコロンボレーション)を通じて、信頼できない起源を洗い流すことができる。
それぞれのコンテンツは良さそうに見え、その導出エッジを ``trusted' に分割または反転させる。
メモリ書き込み-検索-実行パイプラインの可換性を形式化し,マシンチェックによる分離定理の証明を行う。
洗浄下ではコンテンツベースや系統ベースの防御は音が聞こえず(T1)、書き込み時のオリジン結合は必要であり(T2)、Sybil耐性のコロボベーションゲート上昇を伴う非適合なオリジンバウンド権限は十分である(T3)。
我々の構成であるTMA-NM(Tamper-evident Memory Authority, Non-Malleable)は、LLMエージェントメモリのための非多変数情報フロー制御(IFC)をインスタンス化する。
8つのフロンティアモデルに対するクロスディフェンス、クロスアタック、クロスモデルベンチマークは、既存のディフェンスが理論が予測するところ(最大68%のラダース攻撃)で失敗することを示している。
再現性をサポートするため、ベンチマーク、ハーネス、マシンチェックされたTLA+モデルをリリースする。
関連論文リスト
- AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。
3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。
これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
論文 参考訳（メタデータ） (2026-05-25T18:53:22Z) - MemLineage: Lineage-Guided Enforcement for LLM Agent Memory [3.058164432275431]
我々は,LLMエージェントメモリの防衛機能であるMemLineageを紹介した。
最近のコンカレントな作業は、信頼できないコンテンツを永続的なエージェントの状態に書き込むことができ、後続のセッションを命令として再入力できることを示している。
MemLineageは、これをフィルタリング問題ではなく、チェーンオブカストディ問題として扱う。
論文 参考訳（メタデータ） (2026-05-14T06:07:54Z) - The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。
SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。
偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
論文 参考訳（メタデータ） (2026-05-12T20:21:47Z) - TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳（メタデータ） (2026-04-30T13:44:01Z) - TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。
提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。
グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
論文 参考訳（メタデータ） (2026-03-02T22:19:13Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-17T15:28:24Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - A-MemGuard: A Proactive Defense Framework for LLM-Based Agent Memory [31.673865459672285]
大規模言語モデル(LLM)エージェントは、過去のインタラクションから学習するためにメモリを使用する。
敵は、エージェントのメモリに一見無害なレコードを注入して、その将来の振る舞いを操作できる。
A-MemGuard は LLM エージェントメモリのための最初のプロアクティブな防御フレームワークである。
論文 参考訳（メタデータ） (2025-09-29T16:04:15Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。