論文の概要: Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise

• arxiv url: http://arxiv.org/abs/2610.28810v1
• Date: Tue, 20 Oct 2026 18:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.122794
• Title: Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise
• Title（参考訳）: 長期記憶とLLMを高コストで組み合わせる:プロンプトインジェクションから永続的妥協へ
• Abstract要約: 現代の会話インタフェースにおける永続メモリ機能は、クロスセッションアタックの伝搬を可能にする。 この研究は、LLM-as-a-serviceプラットフォームをリードするこの新たな脆弱性を探求する。 メモリインジェクションは、パーソナルメモリ、プロジェクト、スキル、組織命令、モデルコンテキストプロトコル(MCP)に接続されたリソースなど、複数の攻撃ベクターを利用することができることを示す。
• 参考スコア（独自算出の注目度）: 0.5958527024442727
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The widespread adoption of generative artificial intelligence in recent years has brought a parallel rise in prompt injection and jailbreak attacks. By embedding malicious instructions, these exploits manipulate language models to bypass intended behavior and operational boundaries. In traditional chatbots, such attacks are confined to a single session because state memory is not preserved across conversations. However, persistent memory features in modern conversational interfaces enable cross-session attack propagation, establishing a threat vector known as memory injection. This work explores this emerging vulnerability in leading LLM-as-a-service platforms, highlighting its real-world severity and the need for countermeasures. While existing literature focuses on violations tailored to specific platform features, we present a general threat model. We demonstrate that all NIST attack goals are collectively achievable across ChatGPT Instant 5.3, Claude Sonnet 4.6, and Gemini 3 Flash under this model. We also show that memory injections can exploit multiple attack vectors, including personal memories, projects, skills, organization instructions, and Model Context Protocol (MCP)-connected resources. Our findings reveal that all evaluated services can be manipulated to persistently spread disinformation, generate harmful content, or simulate offline unresponsiveness, even in fresh sessions. In the particular case of Claude, shared-memory features allow an attacker to compromise multiple users within an organization and also exfiltrate user prompts. To address these vulnerabilities, we derive defense mechanisms from our proposed threat model and foundational cybersecurity principles. Our analysis indicates that nearly half of these mitigations remain unimplemented across the target services. Datasets and attack artifacts are available at https://github.com/PedroBarcha/Memory-injection.
• Abstract（参考訳）: 近年、生成的人工知能が広く採用されているため、即時注入と脱獄攻撃が同時進行している。 悪意のある命令を埋め込むことで、これらのエクスプロイトは言語モデルを操作して意図された振る舞いや運用境界をバイパスする。 従来のチャットボットでは、状態記憶が会話間で保存されないため、そのような攻撃は単一のセッションに限られる。 しかし、現代の会話インタフェースにおける永続的なメモリ機能は、クロスセッション攻撃の伝播を可能にし、メモリインジェクションとして知られる脅威ベクトルを確立する。 この研究は、LLM-as-a-serviceプラットフォームをリードするこの新たな脆弱性を探求し、現実世界の深刻さと対策の必要性を強調した。 既存の文献では、特定のプラットフォーム機能に適した違反に焦点を当てているが、一般的な脅威モデルを示す。 我々は、すべてのNIST攻撃目標が、このモデルの下でChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flashで総合的に達成可能であることを示した。 また、メモリインジェクションは、パーソナルメモリ、プロジェクト、スキル、組織命令、モデルコンテキストプロトコル(MCP)に接続されたリソースなど、複数の攻撃ベクターを利用することができることを示す。 この結果から, 評価されたすべてのサービスは, 情報拡散, 有害なコンテンツの生成, あるいはオフラインの非応答性のシミュレートのために操作可能であることがわかった。 Claudeの特定のケースでは、共有メモリ機能は、攻撃者が組織内の複数のユーザーを危険にさらし、ユーザープロンプトを流出させることを可能にする。 これらの脆弱性に対処するため、提案した脅威モデルと基盤となるサイバーセキュリティ原則から防御機構を導出する。 私たちの分析によると、これらの緩和のほぼ半数は、ターゲットサービス全体で実装されていないままである。 データセットとアタックアーティファクトはhttps://github.com/PedroBarcha/Memory-injection.comで入手できる。

関連論文リスト

• Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents [10.553545687886928]
  我々は、一見無害な敵タスクのコレクションであるII-Benchを提示する。 II-Benchは、3つのプラットフォームにわたる機密性および整合性攻撃をターゲットにした444の例で構成されている。 また,包括的対角テストフレームワークHITLCUAを構築した。
  論文  参考訳（メタデータ） (2026-08-03T10:16:53Z)
• Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems [11.238342775567856]
  サンドボックス合成作業空間を用いたメモリベースエージェントシステムにおけるインジェクションインジェクション攻撃について検討した。 その結果、エージェントが信頼できない外部コンテンツを使って自分自身のメモリファイルを上書きすることは難しいが、これらのファイルにすでに組み込まれているペイロードは、現在のセッションと将来のセッションをうまく攻撃できることがわかった。
  論文  参考訳（メタデータ） (2026-07-16T06:13:48Z)
• When Claws Remember but Do Not Tell: Stealthy Memory Injection in Persistent Personal Agents [55.87577638514179]
  我々は、リモートのブラックボックスが1つのメールペイロードを送信し、エージェントに有毒なメモリを誘導しなければならない、ステルスメモリインジェクションとして脅威を調査する。 我々は,ワンショットペイロード生成フレームワークであるMemGhostを提案する。 56のテストケースで、MemGhostはGPT-5.4でOpenClawで87.5%、Sonnet 4.6でClaude Code SDKで71.4%を達成している。
  論文  参考訳（メタデータ） (2026-07-06T15:08:58Z)
• MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
  そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。 MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
  論文  参考訳（メタデータ） (2026-06-09T11:53:25Z)
• Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
  大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。 既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。 メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
  論文  参考訳（メタデータ） (2026-05-28T14:02:00Z)
• Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
  セルフ進化エージェントはセッション間で内部状態を更新する。 我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。 我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:28:24Z)
• SCOUT: A Defense Against Data Poisoning Attacks in Fine-Tuned Language Models [11.304852987259041]
  本稿では,ドメイン固有の知識と意味的妥当性を活かした,コンテキスト認識型攻撃シナリオを3つ紹介する。 textbfSCOUT (Saliency-based Classification of Untrusted Tokens) はトークンレベルの塩分分析によりバックドアトリガを識別する新しい防御フレームワークである。
  論文  参考訳（メタデータ） (2025-12-10T17:25:55Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Cuckoo Attack: Stealthy and Persistent Attacks Against AI-IDE [64.47951172662745]
  Cuckoo Attackは、悪意のあるペイロードを構成ファイルに埋め込むことで、ステルス性と永続的なコマンド実行を実現する新しい攻撃である。 攻撃パラダイムを初期感染と持続性という2つの段階に分類する。 当社は、ベンダーが製品のセキュリティを評価するために、実行可能な7つのチェックポイントを提供しています。
  論文  参考訳（メタデータ） (2025-09-19T04:10:52Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。