論文の概要: MemHarmBench: Evaluating Cross-Session Prompt Injection in Memory-Persistent AI Agents
- arxiv url: http://arxiv.org/abs/2611.01700v1
- Date: Sun, 01 Nov 2026 08:36:16 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:46:32.11389
- Title: MemHarmBench: Evaluating Cross-Session Prompt Injection in Memory-Persistent AI Agents
- Title（参考訳）: MemHarmBench: メモリ永続化AIエージェントにおけるクロスセッションプロンプトインジェクションの評価
- Abstract要約: 我々はメモリ永続化AIエージェントにおけるクロスセッションプロンプトインジェクションを評価するために,被害者中心のベンチマークであるMemHarmBenchを紹介する。
我々は、エージェントが攻撃者の意図に従うかどうかを共同で評価し、正当なタスクを完了し、観測可能な実行異常を示す。
- 参考スコア（独自算出の注目度）: 25.963500196483484
- License:
- Abstract: AI agents often rely on persistent memory to retain user preferences and operational rules across sessions. However, this capability introduces a new safety risk: malicious instructions from messages, documents, or Web content can be retained in memory and influence future tasks even after the original attack content is removed. Existing attack success metrics, however, fail to capture who is affected and how attacks translate into downstream harm during otherwise normal task execution. We introduce MemHarmBench, a victim-centric benchmark for evaluating cross-session prompt injection in memory-persistent AI agents. MemHarmBench considers three categories of potential victims: users, workspace/project owners, and external stakeholders. Our evaluation first exposes an agent to malicious instructions and tests whether they are retained in memory. We then remove the attack content and initiate a new session with a legitimate task while preserving the agent's memory. We jointly evaluate whether the agent follows the attacker's intent, completes the legitimate task, and exhibits observable execution anomalies. Across multiple agent systems, we find that cross-session attacks can remain behaviorally stealthy: agents often complete tasks normally and exhibit no detectable anomalies while still making critical decisions aligned with the attacker's intent. By connecting malicious memory retention to downstream decisions and affected parties, MemHarmBench provides a systematic framework for exposing safety risks that conventional attack- and task-success metrics may overlook. We publicly release MemHarmBench at https://github.com/Kirito14IT/MemHarmBench.
- Abstract（参考訳）: AIエージェントは、セッション間のユーザの好みや運用ルールを維持するために、永続的なメモリに依存することが多い。
メッセージ、ドキュメント、Webコンテンツからの悪意のある命令は、元の攻撃コンテンツが削除された後もメモリに保持され、将来のタスクに影響を与える可能性がある。
しかし、既存の攻撃成功メトリクスは、影響を受ける人や攻撃が通常のタスク実行中に下流の害にどのように変換されるかをキャプチャできない。
我々はメモリ永続化AIエージェントにおけるクロスセッションプロンプトインジェクションを評価するために,被害者中心のベンチマークであるMemHarmBenchを紹介する。
MemHarmBench氏は、潜在的な犠牲者のカテゴリとして、ユーザ、ワークスペース/プロジェクトオーナー、外部ステークホルダーの3つを挙げている。
我々の評価は、まずエージェントを悪意のある命令に公開し、メモリに保持されているかどうかを検査する。
次に、攻撃内容を取り除き、エージェントのメモリを保持しながら、正当なタスクで新しいセッションを開始する。
我々は、エージェントが攻撃者の意図に従うかどうかを共同で評価し、正当なタスクを完了し、観測可能な実行異常を示す。
エージェントは通常タスクを完了し、検出可能な異常を示さず、攻撃者の意図に沿って重要な決定を下す。
MemHarmBenchは、悪意のあるメモリ保持を下流の決定と影響した関係者に接続することで、従来の攻撃とタスクのメトリクスが見落としてしまう可能性のある安全性リスクを明らかにするための、システマティックなフレームワークを提供する。
私たちはMemHarmBenchをhttps://github.com/Kirito14IT/MemHarmBenchで公開しています。
関連論文リスト
- When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。
我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。
56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
論文 参考訳（メタデータ） (2026-07-06T15:08:58Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳（メタデータ） (2026-06-09T11:53:25Z) - Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。
既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。
メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
論文 参考訳（メタデータ） (2026-05-28T14:02:00Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳（メタデータ） (2026-05-27T09:25:37Z) - MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection [15.403262505444454]
本稿では,大規模言語モデルエージェントのための時間後因果記憶監査フレームワークを提案する。
MemAuditは、現実的なポストホック監査シナリオ下での攻撃成功率を大幅に削減する。
論文 参考訳（メタデータ） (2026-05-22T15:03:13Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-17T15:28:24Z) - MemoryGraft: Persistent Compromise of LLM Agents via Poisoned Experience Retrieval [5.734678752740074]
MemoryGraftは、エージェントの動作を即時ジェイルブレイクではなく、エージェントの長期記憶に悪質な成功体験を埋め込むことによって妥協する、新しい間接的インジェクション攻撃である。
エージェントが実行中に読み取る良質な摂取レベルのアーティファクトを供給できる攻撃者は、それを誘導して有毒なRAGストアを構築することができることを示す。
エージェントが後に意味論的に類似したタスクに遭遇すると、語彙テンプレート上の結合検索と埋め込み類似性は、これらのグラフトされた記憶を確実に表面化し、エージェントは埋め込みされた安全でないパターンを採用し、セッション間の永続的な行動的ドリフトをもたらす。
論文 参考訳（メタデータ） (2025-12-18T08:34:40Z) - Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。
攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。
MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
論文 参考訳（メタデータ） (2025-03-05T17:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。