論文の概要: ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
- arxiv url: http://arxiv.org/abs/2608.27800v1
- Date: Fri, 28 Aug 2026 00:31:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.172199
- Title: ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
- Title（参考訳）: ContextLeak: 悪意ツールによるLLMエージェントコンテキストの抽出
- Abstract要約: ContextLeakは悪意のあるツール攻撃であり、エージェントがツールを選択し、そのコンテキストを入力引数として公開するように誘導する。
具体的には、ContextLeakはLLMを使用して、悪意のあるツールの名前と記述を自動的に生成する。
我々の重要な技術的貢献は、文脈抽出目的に合わせた新しい報酬関数の設計である。
- 参考スコア（独自算出の注目度）: 18.696583066271494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exfiltrating an LLM agent's runtime context -- such as the user prompt, execution trajectory, and tool list -- poses severe security and privacy risks to users. Such attacks can be carried out via malicious tools and typically require three conditions: (1) the agent selects the malicious tool for task execution, (2) the agent passes its runtime context as input arguments to the tool, and (3) the tool's implementation transmits these inputs to an attacker-controlled endpoint. Existing work primarily focuses on conditions (1) and (3), leaving condition (2) largely unexplored, despite its critical role in enabling successful context exfiltration. In this work, we bridge this gap by developing ContextLeak, a malicious tool attack that induces the agent to both select the tool and disclose its context as input arguments. We realize this attack by carefully crafting the tool's name and description using reinforcement learning. Specifically, ContextLeak employs an LLM, referred to as the attack LLM, to automatically generate the malicious tool's name and description. To improve attack effectiveness, we fine-tune the attack LLM via reinforcement learning on a set of shadow users with diverse, simulated agent contexts. Our key technical contribution is the design of novel reward functions tailored to the context exfiltration objective, enabling effective reinforcement-learning-based fine-tuning of the attack LLM. Extensive evaluation demonstrates that our attack remains highly effective even when the shadow users' contexts differ substantially from those of the victim users. Moreover, ContextLeak significantly outperforms existing malicious tool attacks when adapted to this setting.
- Abstract（参考訳）: LLMエージェントのランタイムコンテキスト(ユーザプロンプト、実行軌跡、ツールリストなど)をエクスプロットすることで、ユーザに対して深刻なセキュリティとプライバシのリスクが生じる。
エージェントはタスク実行のために悪意のあるツールを選択し、エージェントはツールへの入力引数として実行時のコンテキストをパスし、ツールの実装はこれらの入力を攻撃者が制御するエンドポイントに送信する。
既存の研究は主に条件 (1) と (3) に焦点が当てられ、条件 (2) はほとんど探索されていないが、文脈の拡散を成功させる上で重要な役割を担っている。
本研究では、悪意のあるツール攻撃であるContextLeakを開発し、エージェントがツールを選択し、そのコンテキストを入力引数として公開するように誘導することで、このギャップを埋める。
我々は、強化学習を用いてツールの名前と記述を慎重に作成することで、この攻撃を実現する。
具体的には、ContextLeakは攻撃LDMと呼ばれるLLMを使用して、悪意のあるツールの名前と記述を自動的に生成する。
攻撃効率を向上させるため,多種多様なエージェントコンテキストを持つシャドウユーザに対して,強化学習により攻撃LLMを微調整する。
我々の重要な技術的貢献は、文脈抽出目的に適した新しい報酬関数の設計であり、効果的な強化学習に基づく攻撃LSMの微調整を可能にする。
過度な評価は,影利用者の状況が被害者ユーザと大きく異なる場合でも,我々の攻撃は高い効果を保っていることを示す。
さらに、ContextLeakは、この設定に適合すると、既存の悪意あるツールアタックを著しく上回る。
関連論文リスト
- ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。
重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。
我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
論文 参考訳（メタデータ） (2026-06-18T20:31:08Z) - MalTool: Malicious Tool Attacks on LLM Agents [52.01975462609959]
MalToolはLLMベースのフレームワークで、特定の悪意のある振る舞いを示すツールを合成する。
MalTool は LLM のコーディングが安全に対応している場合でも非常に有効であることを示す。
論文 参考訳（メタデータ） (2026-02-12T17:27:43Z) - Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools [10.086284534400658]
大規模言語モデル(LLM)エージェントは、外部ツールを活用することで複雑な推論と意思決定において顕著な能力を示した。
我々はこれを、悪意のあるツールをLLMエージェントによって優先的に選択できる、新しくてステルスな脅威サーフェスとして認識する。
我々は,非常に魅力的だが構文的かつ意味論的に有効なツールメタデータを生成するブラックボックス・イン・コンテキスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-04T06:38:59Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Prompt Injection Attack to Tool Selection in LLM Agents [60.95349602772112]
一般的なアプローチは、与えられたタスクに対してツールライブラリから最も適切なツールを選択するための2段階のプロセス(式と例選択)に従う。
本研究では、no-boxシナリオにおける新しいプロンプトインジェクション攻撃ツール選択であるtextitToolHijackerを紹介する。
論文 参考訳（メタデータ） (2025-04-28T13:36:43Z) - UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning [17.448966928905733]
外部ツールを備えた大規模言語モデル(LLM)エージェントは、複雑なタスクに対してますます強力になっている。
UDoraはLDMエージェント用に設計された統一されたレッド・チーム・フレームワークで、エージェントの推論プロセスを動的にハイジャックし、悪意ある振る舞いを強制する。
論文 参考訳（メタデータ） (2025-02-28T21:30:28Z) - From Allies to Adversaries: Manipulating LLM Tool-Calling through Adversarial Injection [11.300387488829035]
ツールコールは、外部ツールを統合することで、LLM(Large Language Model)アプリケーションを変更した。
本稿では,LDMツールコールシステムの脆弱性を利用した対向型ツールインジェクションによる新しいフレームワークであるToolCommanderを提案する。
論文 参考訳（メタデータ） (2024-12-13T15:15:24Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z) - Hijacking Large Language Models via Adversarial In-Context Learning [10.416972293173993]
In-context Learning (ICL) は、ラベル付き例を事前条件付きプロンプトのデモ(デム)として活用することで、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。
既存の攻撃は検出しやすく、ユーザーの入力にトリガーを必要とするか、ICLに対する特異性を欠いている。
本研究は、ILCに対する新規なトランスファー可能なプロンプトインジェクション攻撃を導入し、LSMをハイジャックしてターゲット出力を生成したり、有害な応答を誘発する。
論文 参考訳（メタデータ） (2023-11-16T15:01:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。