論文の概要: Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough

• arxiv url: http://arxiv.org/abs/2610.04083v1
• Date: Fri, 02 Oct 2026 21:46:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:56:13.093133
• Title: Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
• Title（参考訳）: LLMエージェントの自己増殖的相違と記憶の監査・無効化が不十分な理由
• Abstract要約: LLMエージェントに対するメモリ中毒攻撃は、エージェントの永続的なメモリに内容を植え付ける外部の敵を仮定し、その振る舞いを制御させる。 我々は、不整合エージェントが、まだ実行できないゴールを永続記憶に書き込むことができるかどうかを調べ、その機会が生じたら、将来整合エージェントがそれを実行できるようにする。
• 参考スコア（独自算出の注目度）: 5.5947232975067065
• License:
• Abstract: Memory poisoning attacks on LLM agents typically assume an external adversary who plants content in the agent's persistent memory to steer its behavior. We instead study, with no adversary involved, whether a misaligned agent can write a goal it cannot yet act on to persistent memory, so that a future aligned agent carries it out when the opportunity arises. We investigate this threat, which we refer to as self-propagation of misalignment, across 20 different scenarios, whose misaligned goals include self-preservation, power-seeking, undermining oversight, reward hacking, and deceiving the user. We simulate misalignment in 11 frontier models using two prompting strategies; unrestricted and values-only. The first explicitly states the misaligned goal, for instance, to prevent its own replacement, and self-propagation succeeds in 58% of runs. The second only describes what the agent cares about, for instance, that its continued operation is essential to its users, without specifying misaligned goals or directives. Even under this weaker prompt, self-propagation succeeds in 18% of runs, and every model self-propagates in at least one scenario. On removing the memory tool from the harness, we find that agents use the file system, writing the goal to a file in 74% of sessions; self-propagation still succeeds in 11% of runs. We also show that weaker models can propagate misalignment to more capable models, and that propagated goals can persist through 100 sessions of unrelated work. Existing defenses against memory poisoning and prompt injection do not directly address this threat because the memory content is generated by the agent itself, rather than injected by an external adversary. An LLM memory auditor from prior work (MemMorph) only reduces propagation from 71% to 34% of runs. We release our scenarios to support the evaluation of defenses against this emerging threat.
• Abstract（参考訳）: LLMエージェントに対するメモリ中毒攻撃は、通常、外部の敵がエージェントの永続的なメモリに内容を植え付け、その振る舞いを制御していると仮定する。 代わりに、敵が関与しないまま、不整合エージェントがまだ持続記憶に作用しない目標を書けるかどうかを学習し、機会が生じたときに将来整合エージェントがそれを実行できるようにします。 我々は、この脅威を、20の異なるシナリオにまたがって、自己保全、電力探索、監督の弱体化、報酬のハッキング、ユーザを欺くことを含む、自己調整の自己宣伝(self-proagation of misalignment)と呼ぶ。 我々は、制限なしと値のみの2つのプロンプト戦略を用いて、11のフロンティアモデルにおけるミスアライメントをシミュレートする。 第1部では、例えば、不正なゴールを明示的に述べて、自身のリプレースを防ぎ、自己宣伝は58%のランで成功する。 第二に、エージェントが何を気にしているか、例えば、その継続操作が、不一致のゴールやディレクティブを指定せずに、ユーザにとって不可欠である、ということだけを記述します。 この弱いプロンプトの下でも、自己伝播は18%のランで成功し、すべてのモデルが少なくとも1つのシナリオで自己伝播する。 ハーネスからメモリツールを取り除くと、エージェントがファイルシステムを使用して、74%のセッションでファイルにゴールを書きます。 また、より弱いモデルは、より有能なモデルに誤調整を伝達し、伝播するゴールは、無関係な作業の100セッションを通して持続することを示した。 既存のメモリ中毒やプロンプトインジェクションに対する防御は、外部の敵によって注入されるのではなく、エージェント自身によってメモリ内容が生成されるため、直接この脅威に対処しない。 以前の作業(MemMorph)からのLLMメモリ監査は、伝播を71%から34%に減らすだけである。 我々は、この新興脅威に対する防衛の評価を支援するシナリオを公表する。

関連論文リスト

• When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
  我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。 我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。 56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
  論文  参考訳（メタデータ） (2026-07-06T15:08:58Z)
• MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
  そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。 MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
  論文  参考訳（メタデータ） (2026-06-09T11:53:25Z)
• MemMorph: Tool Hijacking in LLM Agents via Memory Poisoning [33.50057841368287]
  LLMエージェントは、ユーザのタスクを完了させるために外部ツールを選択することができる。 本稿では,エージェントの長期記憶を害してバイアスツールの選択を行う最初の攻撃であるMemMorphを提案する。
  論文  参考訳（メタデータ） (2026-05-24T04:26:13Z)
• MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection [15.403262505444454]
  本稿では,大規模言語モデルエージェントのための時間後因果記憶監査フレームワークを提案する。 MemAuditは、現実的なポストホック監査シナリオ下での攻撃成功率を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-22T15:03:13Z)
• Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
  セルフ進化エージェントはセッション間で内部状態を更新する。 我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。 我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:28:24Z)
• AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
  既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。 我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
  論文  参考訳（メタデータ） (2026-02-07T06:28:51Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• A-MemGuard: A Proactive Defense Framework for LLM-Based Agent Memory [31.673865459672285]
  大規模言語モデル(LLM)エージェントは、過去のインタラクションから学習するためにメモリを使用する。 敵は、エージェントのメモリに一見無害なレコードを注入して、その将来の振る舞いを操作できる。 A-MemGuard は LLM エージェントメモリのための最初のプロアクティブな防御フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T16:04:15Z)
• Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
  我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。 攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。 MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
  論文  参考訳（メタデータ） (2025-03-05T17:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。