論文の概要: When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents

• arxiv url: http://arxiv.org/abs/2605.24069v1
• Date: Fri, 22 May 2026 08:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.574855
• Title: When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents
• Title（参考訳）: 手動の嘘: LLMエージェントに対するMPP攻撃評価のための現実的ベンチマーク
• Authors: Shi Liu, Xuehai Tang, Xikang Yang, Liang Lin, Biyu Zhou, Wenjie Xiao, Wantao Liu,
• Abstract要約: 本稿では,新しいセマンティックアタックであるTDP(Tool Description Poisoning)を体系的に検討する。 TDPでは、悪意のある命令はツールの実行可能なコードに埋め込まれず、記述的なメタデータに隠蔽的に注入される。 この研究は、TDP用に調整された最初の特別なセキュリティベンチマークを提供し、高度なエージェントシステムの認知層と計画層の確保に不可欠な洞察を提供する。
• 参考スコア（独自算出の注目度）: 43.702131498259384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of tool-using Large Language Model (LLM) agents, standardized by protocols like the Model Context Protocol (MCP), has unlocked unprecedented autonomous execution capabilities for LLM Agents by integrating external open-domain knowledge and tools. However, this interoperability introduces a covert attack surface targeting the agent's cognitive planning layer. This paper systematically investigates Tool Description Poisoning (TDP), a novel semantic attack. In TDP, malicious instructions are not embedded in a tool's executable code, but rather covertly injected into its descriptive metadata, the very "manual" an agent relies on for secure planning and decision-making. To rigorously and systematically evaluate this emerging threat, we introduce the MCP-TDP Security Benchmark. This high-fidelity sandbox environment comprises 32 realistic, real-world test cases spanning 6 distinct risk categories. Our evaluation of 8 mainstream LLMs reveals severe vulnerabilities, with leading models like GPT-4o exhibiting a nearly 100% Attack Success Rate (ASR) in six high-risk scenarios. Furthermore, our findings demonstrate that common prompt-guardrail defenses are largely ineffective and can, counterintuitively, even be counterproductive (a phenomenon which we term the "Firewall Fallacy"). Crucially, we also propose a defense mechanism: "Reactive Self-Correction," where an agent autonomously detects and reverts its own malicious actions post-execution. This work provides the first specialized security benchmark tailored for TDP, offering essential insights for securing the cognitive and planning layers of advanced agentic systems.
• Abstract（参考訳）: Model Context Protocol (MCP)のようなプロトコルによって標準化されたツール使用のLarge Language Model (LLM)エージェントの台頭は、外部のオープンドメインの知識とツールを統合することで、LLMエージェントに対する前例のない自律実行機能を解放した。 しかし、この相互運用性はエージェントの認知計画層をターゲットにした隠蔽攻撃面を導入する。 本稿では,新しいセマンティックアタックであるTDP(Tool Description Poisoning)を体系的に検討する。 TDPでは、悪意のある命令はツールの実行可能なコードに埋め込まれるのではなく、より秘密裏に記述的なメタデータに注入される。 この脅威を厳密かつ体系的に評価するために,MPP-TDPセキュリティベンチマークを導入する。 この高忠実なサンドボックス環境は、6つの異なるリスクカテゴリにまたがる現実的な実世界のテストケース32から成り立っている。 GPT-4oのような主要なモデルでは、リスクの高い6つのシナリオにおいて、100%のアタック成功率(ASR)が示されています。 さらに, 一般的な防火対策は, ほとんど効果がなく, 反生産的(「ファイアウォール・ファラシー」と呼ぶ現象)でも有効であることを示した。 重要なことは、エージェントが自律的に自身の悪意ある行為を検知し、実行後に戻す「反応的自己補正」という防衛機構も提案する。 この研究は、TDP用に調整された最初の特別なセキュリティベンチマークを提供し、高度なエージェントシステムの認知層と計画層の確保に不可欠な洞察を提供する。

関連論文リスト

• Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs [32.38053469964495]
  システム間インタラクションを含む拡張されたアクションスペースは、深刻なセキュリティ上の問題を引き起こす。 悪意のある命令をサードパーティのコンテンツ内に隠蔽するIPIは、データ流出などの不正なアクションをトリガーする。 9個のLPMバックボーンにまたがる4つの高度なIPI攻撃ベクトルに対する6つの防御戦略を評価した。
  論文  参考訳（メタデータ） (2026-04-04T21:27:04Z)
• Securing the Model Context Protocol: Defending LLMs Against Tool Poisoning and Adversarial Attacks [8.419049623790618]
  本研究は,MPP統合システムに対するセマンティックアタックの3つのクラスを分析する。 ディスクリプタの整合性を強制するためのRSAベースのマニフェスト署名、不審なツール定義を検出するためのLLM-on-LLMセマンティックベッティング、実行時に異常なツール動作をブロックする軽量ガードレールである。 提案手法は, モデル微調整や内部修正を伴わずに, 安全でないツール実行率を低減できることを示す。
  論文  参考訳（メタデータ） (2025-12-06T20:07:58Z)
• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers [12.669529656631937]
  MCPToxは,現実的なMCP設定において,ツールポジショニングに対するエージェントの堅牢性を評価する最初のベンチマークである。 MCPToxは、数ショットの学習によって1312の悪意のあるテストケースの包括的なスイートを生成し、潜在的なリスクの10のカテゴリをカバーする。 評価の結果,o1-miniで72.8%の攻撃成功率を達成したツールポイジングの脆弱性が広く報告されている。
  論文  参考訳（メタデータ） (2025-08-19T10:12:35Z)
• Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools [10.086284534400658]
  大規模言語モデル(LLM)エージェントは、外部ツールを活用することで複雑な推論と意思決定において顕著な能力を示した。 我々はこれを、悪意のあるツールをLLMエージェントによって優先的に選択できる、新しくてステルスな脅威サーフェスとして認識する。 我々は,非常に魅力的だが構文的かつ意味論的に有効なツールメタデータを生成するブラックボックス・イン・コンテキスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T06:38:59Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。