論文の概要: MCPMark: A Benchmark for Stress-Testing Realistic and Comprehensive MCP Use

• arxiv url: http://arxiv.org/abs/2509.24002v1
• Date: Sun, 28 Sep 2025 17:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.584718
• Title: MCPMark: A Benchmark for Stress-Testing Realistic and Comprehensive MCP Use
• Title（参考訳）: MCPMark: ストレステストリアルで総合的なMPP使用のためのベンチマーク
• Abstract要約: MCPMarkは、より現実的で包括的な方法でMPPの使用を評価するために設計されたベンチマークである。 ドメインの専門家とAIエージェントが共同で作成した127ドルの高品質なタスクで構成されている。 平均して、LCMは16.2ドル、タスクごとに17.4ドルのツールコールを必要とし、以前のMPPベンチマークよりも大幅に上回っている。
• 参考スコア（独自算出の注目度）: 27.978435634514128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MCP standardizes how LLMs interact with external systems, forming the foundation for general agents. However, existing MCP benchmarks remain narrow in scope: they focus on read-heavy tasks or tasks with limited interaction depth, and fail to capture the complexity and realism of real-world workflows. To address this gap, we propose MCPMark, a benchmark designed to evaluate MCP use in a more realistic and comprehensive manner. It consists of $127$ high-quality tasks collaboratively created by domain experts and AI agents. Each task begins with a curated initial state and includes a programmatic script for automatic verification. These tasks demand richer and more diverse interactions with the environment, involving a broad range of create, read, update, and delete (CRUD) operations. We conduct a comprehensive evaluation of cutting-edge LLMs using a minimal agent framework that operates in a tool-calling loop. Empirical results show that the best-performing model, gpt-5-medium, reaches only $52.56$\% pass@1 and $33.86$\% pass^4, while other widely regarded strong models, including claude-sonnet-4 and o3, fall below $30$\% pass@1 and $15$\% pass^4. On average, LLMs require $16.2$ execution turns and $17.4$ tool calls per task, significantly surpassing those in previous MCP benchmarks and highlighting the stress-testing nature of MCPMark.
• Abstract（参考訳）: MCPはLLMが外部システムとどのように相互作用するかを標準化し、汎用エージェントの基礎を形成する。 しかし、既存のMCPベンチマークはスコープが狭く、リードヘビーなタスクやインタラクションの深さが制限されたタスクに重点を置いており、現実世界のワークフローの複雑さとリアリズムを捉えていない。 このギャップに対処するために、より現実的で包括的な方法でMPPの使用を評価するために設計されたベンチマークであるMPPMarkを提案する。 ドメインの専門家とAIエージェントが共同で作成した127ドルの高品質なタスクで構成されている。 各タスクはキュレートされた初期状態から始まり、自動検証用のプログラムスクリプトを含む。 これらのタスクは環境とのよりリッチで多様なインタラクションを必要とし、CRUD操作の生成、読み込み、更新、削除を含む。 ツールコールループで動作する最小限のエージェントフレームワークを用いて,最先端LCMの包括的評価を行う。 実証的な結果は、最高のパフォーマンスモデルであるgpt-5-mediumが52.56$\% pass@1と33.86$\% pass^4にしか達せず、claude-sonnet-4とo3を含む他の広く認識されている強力なモデルが30$\% pass@1と15$\% pass^4に該当することを示している。 LLMは平均16.2ドル、タスク毎のツールコールは17.4ドルであり、従来のMPPベンチマークよりも大幅に上回っており、MPPMarkのストレステストの性質を強調している。

関連論文リスト

• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers [5.463884405989425]
  ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。 これには、現実的で多段階のオーケストレーションにおいて、ツール使用能力を評価するために設計された1000のタスクが含まれている。 モデルの最終回答で満たされた事実に基づく部分的信用を付与するクレームベースのルーブリックを使用してタスクをスコアする。
  論文  参考訳（メタデータ） (2026-01-31T23:19:39Z)
• LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries [38.56775962026289]
  提案するLiveMCP-101は,リアルタイムクエリを慎重にキュレートした101のベンチマークである。 実験により、フロンティアのLLMでさえ60%未満の成功率を達成することが示された。 LiveMCP-101は現実世界のエージェント能力を評価するための厳格な標準を設定している。
  論文  参考訳（メタデータ） (2025-08-21T17:55:54Z)
• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• Help or Hurdle? Rethinking Model Context Protocol-Augmented Large Language Models [9.49963945880421]
  LLM-MCP相互作用を探索する最初の総合的評価フレームワークであるMPPGAUGEを紹介する。 MCPGAUGEは160プロンプトスイートと、知識理解、一般的な推論、コード生成にまたがる25のデータセットで構成されている。 当社の大規模評価では、6つの商用LCM、30のMPPツールスイート、および1ターンと2ターンの両方のインタラクション設定を対象とし、約20,000のAPIコールと6,000ドル以上の計算コストで構成されています。
  論文  参考訳（メタデータ） (2025-08-18T02:06:05Z)
• LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools? [50.60770039016318]
  モデルコンテキストプロトコル(MCP)エージェントをベンチマークする最初の総合ベンチマークであるLiveMCPBenchを紹介する。 LiveMCPBenchは、MPPエコシステムに根ざした95の現実世界のタスクで構成されている。 評価は10の先行モデルを対象としており、最高の性能のモデルが78.95%の成功率に達した。
  論文  参考訳（メタデータ） (2025-08-03T14:36:42Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [33.250579401886206]
  本稿では,モデルコンテキストプロトコル(MCP)フレームワークにおいて,LLM(Large Language Models)の性能を評価するために設計された最初の総合ベンチマークであるMPP-RADARを紹介する。 MCP-RADARは、数学的推論、Web検索、Eメール、カレンダー、ファイル管理、端末操作の6つの領域にまたがる507のタスクからなる挑戦的なデータセットを備えている。 主観的な人的評価やバイナリ成功のメトリクスに依存する従来のベンチマークとは異なり、MPP-RADARは複数のタスク領域にわたる客観的な定量測定を採用する。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)
• Planning with Multi-Constraints via Collaborative Language Agents [13.550774629515843]
  本稿では,協調型マルチエージェントシステムのためのゼロショット手法であるPMC(Planning with Multi-Constraints)を紹介する。 PMCは、制約で複雑なタスク計画を簡単にし、従属タスクの階層に分解する。 PMCはTravelPlannerで平均42.68%の成功率を記録し、GPT-4 (2.92%) をはるかに上回り、API-BankでReActを13.64%上回った。
  論文  参考訳（メタデータ） (2024-05-26T10:33:17Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。