論文の概要: When Agents Remember Too Much: Memory Poisoning Attacks on Large Language Model Agents
- arxiv url: http://arxiv.org/abs/2607.06595v1
- Date: Mon, 06 Jul 2026 19:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.145063
- Title: When Agents Remember Too Much: Memory Poisoning Attacks on Large Language Model Agents
- Title(参考訳): 巨大な言語モデルエージェントの攻撃を記憶するエージェント
- Abstract要約: ツールを用いた個人エージェントのメモリサブシステムを利用してメモリストアを害する新たな攻撃ベクトルであるGhostWriterを紹介した。
我々は,GhostWriterが約98%,平均アクティベーション率約60%を最先端エージェントに対して達成していることを示す。
本稿では,メモリ節約ポリシーとメモリ検索画面という2つの緩和手法を活用するエージェントメモリ・サイエントを提案する。
- 参考スコア(独自算出の注目度): 0.6563429475229776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personal AI agents powered by large language models can reason and act using available tools to access emails, manage calendars, and push code to remote repositories, all with minimal oversight. When augmented with long-term memory, an agent can recall specific details relevant to the current task, reducing the need for large context windows. Currently, long-term memory agents tend to fall into two distinct domains: conversational and action-planning agents. Personal assistant agents sit at the convergence of these two domains and handle sensitive information while interacting with untrusted information sources, creating previously unaccounted security vulnerabilities. In this work, we introduce the novel attack vector, GhostWriter, which exploits current memory subsystems in tool-using personal agents to poison their memory store. GhostWriter operates in two phases: injection, where an adversary sends a hidden attack payload to the target agent; and activation, in which the poisoned memory is retrieved. We show that GhostWriter achieves near-universal injection rates of approximately 98% and a high average activation rate of approximately 60% against state-of-the-art agents. This attack is possible due to the lack of security-focused memory governance. In response, we propose Agentic Memory Sentry (AM-Sentry), which leverages two mitigation techniques: a memory-saving policy and a memory-retrieval screen. Our experiments show that AM-Sentry dramatically reduces GhostWriter's success rate while preserving agent utility.
- Abstract(参考訳): 大きな言語モデルを利用したパーソナルAIエージェントは、利用可能なツールを使って、電子メールにアクセスし、カレンダーを管理し、リモートリポジトリにコードをプッシュする。
長期メモリで拡張された場合、エージェントは現在のタスクに関連する特定の詳細を思い出すことができ、大きなコンテキストウィンドウの必要性を減らすことができる。
現在、長期記憶エージェントは会話エージェントとアクションプランニングエージェントの2つの異なる領域に分かれる傾向にある。
パーソナルアシスタントエージェントは、これらの2つのドメインの収束に座り、信頼できない情報ソースとやり取りしながら機密情報を処理する。
本研究では,ツールを用いたパーソナルエージェントにおける現在のメモリサブシステムを利用して,メモリストアを害する新たな攻撃ベクトルであるGhostWriterを紹介する。
GhostWriterは2つのフェーズで動作する。インジェクションでは、敵がターゲットエージェントに隠れた攻撃ペイロードを送信する。
我々は,GhostWriterが約98%,平均アクティベーション率約60%を最先端エージェントに対して達成していることを示す。
この攻撃は、セキュリティに重点を置くメモリガバナンスの欠如によって可能となる。
そこで本研究では,メモリ節約ポリシーとメモリ検索画面という2つの緩和手法を活用したエージェントメモリサイエント(AM-Sentry)を提案する。
実験の結果,AM-Sentryはエージェントユーティリティを保ちながらGhostWriterの成功率を大幅に低下させることがわかった。
関連論文リスト
- When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。
我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。
56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
論文 参考訳(メタデータ) (2026-07-06T15:08:58Z) - MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳(メタデータ) (2026-06-09T11:53:25Z) - From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents [3.3489120273076876]
メモリはAIエージェントの中核的なコンポーネントであり、対話を通じて知識を蓄積し、パフォーマンスを向上させることができる。
本研究は, LLM系薬剤の記憶障害に関する系統的研究である。
モデル機能,システムプロンプト設計,エージェントシステムアーキテクチャにおいて,4つのメモリ書き込みチャネルと9つの構造的脆弱性を識別する。
論文 参考訳(メタデータ) (2026-06-03T01:04:13Z) - Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。
既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。
メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
論文 参考訳(メタデータ) (2026-05-28T14:02:00Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - Hidden in Memory: Sleeper Memory Poisoning in LLM Agents [39.7102258719441]
本研究は, 睡眠時記憶障害(sleeper memory poisoning)について検討する。これは, 相手が外部コンテキストを操作して, ユーザに関する偽造記憶を記憶させる, 遅延攻撃である。
従来のプロンプトインジェクションとは異なり、攻撃は休眠状態のままで、後続の会話をまたいで再起動することができる。
GPT-5.5では99.8%、Kim-K2.6では95%の有毒な記憶が加えられた。
論文 参考訳(メタデータ) (2026-05-14T19:06:10Z) - LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。
LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。
AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
論文 参考訳(メタデータ) (2026-05-12T17:59:34Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-17T15:28:24Z) - AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。
我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
論文 参考訳(メタデータ) (2026-02-07T06:28:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。