論文の概要: When Malicious Instructions Persist: Persistent Memory Poisoning Attack on Harness-Based Agents
- arxiv url: http://arxiv.org/abs/2609.13889v1
- Date: Sat, 12 Sep 2026 11:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.600836
- Title: When Malicious Instructions Persist: Persistent Memory Poisoning Attack on Harness-Based Agents
- Title(参考訳): 悪意のある指示が持続する時:ハーネスをベースとしたエージェントに対する永続的記憶中毒
- Abstract要約: 我々は、ハーネスベースのエージェントに対する永続的メモリポジショニング攻撃であるPMPAを提案する。
PMPAは悪質な命令を良質な外部ソースに埋め込み、被害者のエージェントに永続的なメモリに書き込むよう誘導する。
すべての設定において、PMPAは平均注入成功率(ISR)とクロスセッション攻撃成功率(C-ASR)を、OpenClawでは73.7%/55.5%、Claude Codeでは66.9%/81.7%と達成している。
- 参考スコア(独自算出の注目度): 17.320527773100732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Harness design has transformed the development of LLM-based agents by integrating memory, tool use, and runtime control. However, this design also introduces security and privacy risks because malicious instructions from external sources may be written into persistent memory and persist across sessions. To study this risk, we propose PMPA, a Persistent Memory Poisoning Attack against harness-based agents. PMPA embeds malicious instructions into benign external sources and induces the victim agent to write them into persistent memory without directly accessing to the agent framework. Once stored, the poisoned memory can be retrieved in later sessions, triggering additional malicious actions and causing privacy leakage. We evaluate PMPA on OpenClaw and Claude Code across different backbone LLMs, input modalities, and trigger scenarios. Across all settings, PMPA achieves average Injection Success Rate (ISR) and Cross-session Attack Success Rate (C-ASR) of 73.7%/ 55.5% on OpenClaw and 66.9%/ 81.7% on Claude Code, while preserving benign task performance on both systems. We further evaluate a targeted prompt-level defense and find that it can reduce memory injection in many settings, but provides limited protection once the persistent memory has been poisoned.
- Abstract(参考訳): Harness設計は、メモリ、ツールの使用、ランタイム制御を統合することで、LCMベースのエージェントの開発を変革した。
しかし、外部ソースからの悪意のある命令が永続的なメモリに書き込まれ、セッション間で持続する可能性があるため、この設計ではセキュリティとプライバシのリスクも導入されている。
このリスクを研究するために, PMPA(Persistent Memory Poisoning Attack)を提案する。
PMPAは悪意のある外部ソースに悪意ある命令を埋め込んで、被害者のエージェントにエージェントフレームワークに直接アクセスすることなく、それらを永続的なメモリに書き込むよう誘導する。
一度保存すると、有毒なメモリは後続のセッションで取得でき、さらに悪意のあるアクションを引き起こし、プライバシーの漏洩を引き起こす。
我々は,OpenClaw と Claude Code のPMPAを,異なるバックボーン LLM ,入力モダリティ,トリガシナリオで評価した。
すべての設定において、PMPAは平均注入成功率(ISR)とクロスセッション攻撃成功率(C-ASR)を、OpenClawで73.7%/55.5%、Claude Codeで66.9%/81.7%、両システムで良質なタスク性能を維持しながら達成している。
我々はさらに、標的となるプロンプトレベル防御を評価し、多くの設定でメモリ注入を減らすことができるが、永続的なメモリが汚染されると、制限された保護を提供する。
関連論文リスト
- Memory Provenance Laundering in LLM Agents: A Non-Amplification Firewall for Persistent Memory [2.98985980237058]
Provenance-Preserving Memory Fire Wall (PPMF) は、プラットフォームの保守された前兆を保存し、アクション関連メモリの権威にアクションリスクを合わせることでツールコールを認可する軽量メモリである。
プラットフォームに保持された証明、確認、リスクラベルはそのままであり、評価されていないハイリスクアクションはPPMFゲートを通過しない。
論文 参考訳(メタデータ) (2026-07-31T08:46:27Z) - When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。
我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。
56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
論文 参考訳(メタデータ) (2026-07-06T15:08:58Z) - MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳(メタデータ) (2026-06-09T11:53:25Z) - From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents [3.3489120273076876]
メモリはAIエージェントの中核的なコンポーネントであり、対話を通じて知識を蓄積し、パフォーマンスを向上させることができる。
本研究は, LLM系薬剤の記憶障害に関する系統的研究である。
モデル機能,システムプロンプト設計,エージェントシステムアーキテクチャにおいて,4つのメモリ書き込みチャネルと9つの構造的脆弱性を識別する。
論文 参考訳(メタデータ) (2026-06-03T01:04:13Z) - Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。
既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。
メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
論文 参考訳(メタデータ) (2026-05-28T14:02:00Z) - MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。
汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。
MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
論文 参考訳(メタデータ) (2026-04-17T07:29:52Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-17T15:28:24Z) - Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。
攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。
MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
論文 参考訳(メタデータ) (2025-03-05T17:53:24Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳(メタデータ) (2024-07-17T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。