論文の概要: Measuring and Exploiting Implicit Trust in LLM Tool-Calling Pipelines
- arxiv url: http://arxiv.org/abs/2609.18217v1
- Date: Wed, 16 Sep 2026 06:47:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.682116
- Title: Measuring and Exploiting Implicit Trust in LLM Tool-Calling Pipelines
- Title（参考訳）: LLM工具搬送パイプラインにおけるインシシット信頼の測定と爆発
- Abstract要約: 任意のLLMの信頼プロファイルを測定するためのフレームワークを提案する。
2、3つのチャネルにまたがって、一見良質なペイロードを分散するクロスチャネルフラグメンテーション攻撃を考案する。
我々は,サードパーティのMCPセキュリティツール7つとプロンプトベースの防御ツール3つに対する攻撃を評価した。
- 参考スコア（独自算出の注目度）: 3.1382935177554336
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Model Context Protocol (MCP) enables LLMs to invoke external tools, but every tool interaction exposes the model to attacker-controlled text through multiple input channels (tool descriptions, tool results, sampling messages) that share a single context window without privilege separation. In this paper, we present a framework to measure the trust profile of an arbitrary LLM based on a variety of payload framings sent through different channels. Following this assessment, we devise cross-channel fragmentation attacks that distribute seemingly benign payloads across two or three channels; no individual channel carries a complete injection, yet the LLM compiles the fragments into credential exfiltration. We evaluated our attacks across 12 frontier models, three production clients, and six payloads, totalling over 15,000 trials. Our evaluation reveals that cross-channel attacks are an unexplored attack surface: models that fully resist single-channel injection (0% compliance) exfiltrate sensitive data at up to 100% under two-channel fragmentation (e.g., GPT-4o, Llama 70B, Composer 2, Haiku 4.5). We further demonstrate value-aligned exploitation, where a tool's stated purpose requires the data the attacker targets, and a sampling system prompt override that injects persistent instructions via VS Code's MCP implementation. Finally, we evaluated our attacks against seven third-party MCP security tools and three prompt-based defenses. All tools failed to detect fragmented payloads, and prompt defenses proved model-specific rather than universal.
- Abstract（参考訳）: モデルコンテキストプロトコル(MCP)は、LCMが外部ツールを呼び出すことを可能にするが、ツール間の相互作用は、特権分離なしで単一のコンテキストウィンドウを共有する複数の入力チャネル(ツール記述、ツール結果、サンプリングメッセージ)を通じて、攻撃者が制御するテキストにモデルを公開する。
本稿では,異なるチャネルから送信される様々なペイロードフレーミングに基づいて,任意のLCMの信頼プロファイルを測定するためのフレームワークを提案する。
本評価では,各チャネルが完全な注入を行うことはないが,LCMはフラグメントをクレデンシャル・エクスフィルメントにコンパイルする。
12のフロンティアモデル、3つのプロダクションクライアント、6つのペイロードに対する攻撃を評価し、15,000以上のトライアルを実施しました。
単一チャネル注入 (0% コンプライアンス) に完全に抵抗するモデルでは, 2チャネル断片化(例: GPT-4o, Llama 70B, Composer 2, Haiku 4.5)下では, 感度データを100%まで透過する。
さらに、攻撃対象とするデータを必要とするツールの目的と、VS CodeのMPP実装を通じて永続的な命令を注入するサンプリングシステムがオーバーライドする、バリューアラインなエクスプロイトを実証する。
最後に,サードパーティのMCPセキュリティツール7つとプロンプトベースの防御ツール3つに対する攻撃を評価した。
全てのツールは断片化されたペイロードを検知できず、即時防御は普遍的ではなくモデル固有のことを証明した。
関連論文リスト
- Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks [12.83067910280608]
大規模言語モデル(LLM)エージェントは、さまざまなドメインにまたがる印象的な機能を示している。
ダイレクト・プロンプト・インジェクション、インダイレクト・プロンプト・インジェクション、メモリ中毒、バックドア・アタックなど、敵の攻撃に対してますます脆弱である。
これら4つの攻撃タイプにまたがる統一された枠組みの中で、実用的で汎用的な防御戦略を探求する。
論文 参考訳（メタデータ） (2026-09-14T15:20:30Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳（メタデータ） (2026-04-30T13:44:01Z) - T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。
本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
論文 参考訳（メタデータ） (2026-03-21T12:33:34Z) - ClawWorm: Self-Propagating Attacks Across LLM Agent Ecosystems [18.180880919825082]
ClawWormは、プロダクションスケールのエージェントフレームワークに対する最初の自己複製ワーム攻撃である。
我々は、64.5%の総攻撃成功率、マルチホップ伝播の持続、およびモデルセキュリティ姿勢におけるスタークの相違を明らかにする。
論文 参考訳（メタデータ） (2026-03-16T17:55:43Z) - Recursive language models for jailbreak detection: a procedural defense for tool-augmented agents [0.0]
Recursive Language Models (RLM) に基づくエンドツーエンドのジェイルブレイク検出フレームワーク RLM-JB を提案する。
RLM-JBは、検出をワンショット分類ではなく手順として扱う。
AutoDANスタイルの逆入力では、RLM-JBは3つのLLMバックエンド間で高い検出効率を実現する。
論文 参考訳（メタデータ） (2026-02-18T15:07:09Z) - OmniSafeBench-MM: A Unified Benchmark and Toolbox for Multimodal Jailbreak Attack-Defense Evaluation [94.61617176929384]
OmniSafeBench-MMはマルチモーダル・ジェイルブレイク攻撃防御評価のための総合ツールボックスである。
13の代表的な攻撃方法と15の防衛戦略、9つの主要なリスクドメインと50のきめ細かいカテゴリにまたがる多様なデータセットを統合している。
データ、方法論、評価をオープンソースで再現可能なプラットフォームに統合することで、OmniSafeBench-MMは将来の研究のための標準化された基盤を提供する。
論文 参考訳（メタデータ） (2025-12-06T22:56:29Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - MCP-Guard: A Defense Framework for Model Context Protocol Integrity in Large Language Model Applications [21.70488724213541]
大規模言語モデルと外部ツールの統合は、重大なセキュリティ脆弱性をもたらす。
LLM-toolインタラクション用に設計されたロバストな層状防御アーキテクチャであるMPP-Guardを提案する。
MCP-AttackBenchも紹介します。
論文 参考訳（メタデータ） (2025-08-14T18:00:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。