論文の概要: MCPSecBench: A Systematic Security Benchmark and Playground for Testing Model Context Protocols
- arxiv url: http://arxiv.org/abs/2508.13220v1
- Date: Sun, 17 Aug 2025 11:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.667526
- Title: MCPSecBench: A Systematic Security Benchmark and Playground for Testing Model Context Protocols
- Title（参考訳）: MCPSecBench: モデルコンテキストプロトコルをテストするためのセキュリティベンチマークとプレイグラウンド
- Authors: Yixuan Yang, Daoyuan Wu, Yufan Chen,
- Abstract要約: 本研究は,4つの主要な攻撃面にわたる17種類の攻撃タイプを同定し,MCPセキュリティの最初の系統分類を提示する。
MCPSecBenchは、プロンプトデータセット、MPPサーバ、MPPクライアント、アタックスクリプトを統合し、3つの主要なMPPプロバイダでこれらの攻撃を評価するための総合的なセキュリティベンチマークとグラウンドである。
- 参考スコア（独自算出の注目度）: 3.1519936973624274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly integrated into real-world applications via the Model Context Protocol (MCP), a universal, open standard for connecting AI agents with data sources and external tools. While MCP enhances the capabilities of LLM-based agents, it also introduces new security risks and expands their attack surfaces. In this paper, we present the first systematic taxonomy of MCP security, identifying 17 attack types across 4 primary attack surfaces. We introduce MCPSecBench, a comprehensive security benchmark and playground that integrates prompt datasets, MCP servers, MCP clients, and attack scripts to evaluate these attacks across three major MCP providers. Our benchmark is modular and extensible, allowing researchers to incorporate custom implementations of clients, servers, and transport protocols for systematic security assessment. Experimental results show that over 85% of the identified attacks successfully compromise at least one platform, with core vulnerabilities universally affecting Claude, OpenAI, and Cursor, while prompt-based and tool-centric attacks exhibit considerable variability across different hosts and models. Overall, MCPSecBench standardizes the evaluation of MCP security and enables rigorous testing across all MCP layers.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、データソースや外部ツールとAIエージェントを接続するための普遍的でオープンな標準である Model Context Protocol (MCP) を通じて、現実のアプリケーションに統合されつつある。
MCPはLSMベースのエージェントの能力を高める一方で、新たなセキュリティリスクを導入し、攻撃面を拡大する。
本稿では,4つの攻撃面にまたがる17種類の攻撃タイプを同定し,MCPセキュリティに関する最初の系統分類を提示する。
MCPSecBenchは、プロンプトデータセット、MPPサーバ、MPPクライアント、アタックスクリプトを統合し、3つの主要なMPPプロバイダ間でこれらの攻撃を評価するための総合的なセキュリティベンチマークとグラウンドである。
私たちのベンチマークはモジュールで拡張可能で、研究者はクライアント、サーバ、トランスポートプロトコルのカスタム実装をシステムセキュリティアセスメントに組み込むことができます。
実験結果によると、特定された攻撃の85%以上が少なくとも1つのプラットフォームに侵入し、コア脆弱性がClaude、OpenAI、Cursorに影響を与えている。
全体として、MPPSecBenchは、MPPセキュリティの評価を標準化し、すべてのMBP層にわたる厳密なテストを可能にする。
関連論文リスト
- LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools? [50.60770039016318]
モデルコンテキストプロトコル(MCP)エージェントをベンチマークする最初の総合ベンチマークであるLiveMCPBenchを紹介する。
LiveMCPBenchは、MPPエコシステムに根ざした95の現実世界のタスクで構成されている。
評価は10の先行モデルを対象としており、最高の性能のモデルが78.95%の成功率に達した。
論文 参考訳（メタデータ） (2025-08-03T14:36:42Z) - MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。
MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。
実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
論文 参考訳（メタデータ） (2025-07-17T05:46:27Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - We Should Identify and Mitigate Third-Party Safety Risks in MCP-Powered Agent Systems [48.345884334050965]
MCPが導入した新たな安全リスク問題に細心の注意を払うため, LLMの安全に関する研究コミュニティを提唱する。
MCPによるエージェントシステムの安全性のリスクは本当の脅威であり、その防御は自明なものではないことを実証するために、一連の実験を行った。
論文 参考訳（メタデータ） (2025-06-16T16:24:31Z) - Beyond the Protocol: Unveiling Attack Vectors in the Model Context Protocol Ecosystem [9.147044310206773]
Model Context Protocol(MCP)は、LLM(Large Language Model)アプリケーションと外部ツールやリソースとのシームレスな相互作用を可能にするために設計された新しい標準である。
本稿では,MPPエコシステムを対象とした攻撃ベクトルに関する最初の体系的研究について述べる。
論文 参考訳（メタデータ） (2025-05-31T08:01:11Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System [0.0]
MCPガーディアンは、認証、レート制限、ロギング、トレース、Web Application Firewall(WAF)スキャンによるMPPベースの通信を強化するフレームワークである。
弊社のアプローチは、AIアシスタントのためのセキュアでスケーラブルなデータアクセスを促進する。
論文 参考訳（メタデータ） (2025-04-17T08:49:10Z) - MCP Safety Audit: LLMs with the Model Context Protocol Allow Major Security Exploits [0.0]
Model Context Protocol (MCP) は、大規模言語モデル(LLM)、データソース、エージェントツールへのAPI呼び出しを標準化するオープンプロトコルである。
現在のMPP設計はエンドユーザーに幅広いセキュリティリスクをもたらすことを示す。
任意のMPPサーバのセキュリティを評価するために,安全監査ツールであるMPPSafetyScannerを導入する。
論文 参考訳（メタデータ） (2025-04-02T21:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。