論文の概要: From Attack Success to Attack Severity: Counterfactual Memory Attacks on LLM Agents

• arxiv url: http://arxiv.org/abs/2609.34132v1
• Date: Mon, 28 Sep 2026 02:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:42:04.689518
• Title: From Attack Success to Attack Severity: Counterfactual Memory Attacks on LLM Agents
• Title（参考訳）: 攻撃成功から攻撃の重大性:LLMエージェントの反実的メモリ攻撃
• Abstract要約: 永続メモリ攻撃は、それらが成功するかどうかによって評価されるが、成功した攻撃は、異なる下流の結果をもたらす永続状態を残すことができる。 我々は、この重症度を個別の攻撃設計目標として研究し、反実的記憶後悔(CMR)で定式化する。 MemHarmは、同一のサポートに対する評価された一般的な攻撃の中で、最も高いCMRポイント推定値を得た。
• 参考スコア（独自算出の注目度）: 42.712790337834655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLM agents increasingly rely on persistent memory for long-horizon and personalized behavior, they can retain and reuse information across interactions, but this also creates a lasting channel through which malicious memory writes can influence future behavior. Persistent-memory attacks are typically evaluated by whether they succeed, yet successful attacks can leave persistent states with substantially different downstream consequences. We study this severity as a distinct attack-design objective and formalize it with counterfactual memory regret (CMR), the paired increase in expected downstream loss relative to clean memory. We introduce MemHarm, which predeclares a finite class of sparse, grounded semantic edits, evaluates candidates through the normal agent memory interface using offline paired-loss feedback, and certifies resolved selections within that class. Compared with attack-success optimization, CMR-guided selection produces substantially larger downstream loss while retaining most of the success-rate gain. Across two agent benchmarks and diverse memory designs, MemHarm attains the highest CMR point estimates among the evaluated general attacks on identical support. Factor-removal interventions link this harm to the selected semantic factor, and native-agent deployments verify the write-to-fresh-process attack path.
• Abstract（参考訳）: LLMエージェントは、長期的かつパーソナライズされた振る舞いのために永続的なメモリをますます依存しているため、インタラクション間で情報を保持および再利用することができるが、悪意のあるメモリ書き込みが将来の行動に影響を与える、永続的なチャネルも生成する。 永続メモリ攻撃は、通常、成功かどうかによって評価されるが、成功した攻撃は、ダウンストリームの結果が著しく異なる永続状態を残すことができる。 本研究では,この重大度を個別の攻撃設計目標として検討し,クリーンメモリに対する下流損失の対の増大である反ファクトメモリ後悔(CMR)で定式化する。 有限クラスのスパース、接地されたセマンティック編集を事前に宣言し、オフラインペアロスフィードバックを用いて通常のエージェントメモリインタフェースを介して候補を評価し、そのクラス内で解決された選択を認証するMemHarmを紹介する。 CMR誘導選択は, 攻撃条件の最適化と比較すると, ダウンストリーム損失が著しく増大する一方, 成功率のほとんどを維持できる。 2つのエージェントベンチマークと多様なメモリ設計の中で、MemHarmは、同一サポートに対する評価された一般的な攻撃の中で、最高のCMRポイント推定値に達した。 ファクタ削除の介入は、この障害を選択されたセマンティックファクタにリンクし、ネイティブエージェントデプロイメントは、ライト・トゥ・フレッシュ・プロセスの攻撃パスを検証する。

関連論文リスト

• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• The Compliance Trap: Diagnosing How AI Agents Consume Conflicting Memory [9.041305193333434]
  メモリは、長年にわたるAIエージェントの中核的なコンポーネントになりつつある。これにより、エージェントは、Webブラウザやソフトウェアツール、その他のインタラクティブな環境を操作する際に、過去の経験を再利用することができる。 既存の作業は、主にメモリを供給問題として扱い、どのエクスペリエンスを書くか、どのように保存するか、どのエントリを次のタスクに取得するかを尋ねる。 しかし、モデルが取得したメモリをどのように消費するかについては、まだ明確な説明がありません。
  論文  参考訳（メタデータ） (2026-07-12T07:05:31Z)
• MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
  そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。 MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
  論文  参考訳（メタデータ） (2026-06-09T11:53:25Z)
• Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
  本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:46Z)
• Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents [13.846550145896314]
  メモリ拡張LDMエージェントは、相互作用軌跡をコンパクトメモリに要約することにより、複雑な長距離タスクに対処する。 既存のアプローチでは、結果に基づく強化学習を使用してこれらのメモリポリシーをトレーニングし、中間メモリ品質が低下する場所のローカライズに失敗する。 メモリ最適化は、単なる軌道レベルの成功ではなく、中間要約によって引き起こされる信念の明確さに焦点をあてるべきである。
  論文  参考訳（メタデータ） (2026-05-28T16:17:19Z)
• Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
  大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。 既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。 メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
  論文  参考訳（メタデータ） (2026-05-28T14:02:00Z)
• MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection [15.403262505444454]
  本稿では,大規模言語モデルエージェントのための時間後因果記憶監査フレームワークを提案する。 MemAuditは、現実的なポストホック監査シナリオ下での攻撃成功率を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-22T15:03:13Z)
• MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
  永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。 汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-04-17T07:29:52Z)
• Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
  セルフ進化エージェントはセッション間で内部状態を更新する。 我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。 我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。