論文の概要: MCPEvol-Bench: Benchmarking LLM Agent Performance Across Dynamic Evolutions of MCP Servers

• arxiv url: http://arxiv.org/abs/2607.14642v1
• Date: Thu, 16 Jul 2026 07:09:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.019723
• Title: MCPEvol-Bench: Benchmarking LLM Agent Performance Across Dynamic Evolutions of MCP Servers
• Title（参考訳）: MCPEvol-Bench:MPPサーバの動的進化におけるLLMエージェント性能のベンチマーク
• Abstract要約: 動的ツール進化下でのLLMエージェントのタスク解決能力を評価するための新しいベンチマークであるbfMCPEvol-Benchを紹介する。 大規模な実証研究から着想を得て,123台のMPPサーバ内での現実的なツール進化をシミュレートする11の突然変異演算子を提案する。 我々は、MPPサーバの複数バージョンで12の最先端LCMをベンチマークし、フロンティアモデルでさえ進化するツールに適応するのに苦労していることを明らかにした。
• 参考スコア（独自算出の注目度）: 42.07961954462569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Model Context Protocol (MCP) servers emerge as the core infrastructure for connecting LLMs with external tools, existing benchmarks leverage real-world MCP servers to evaluate LLM agents' tool-using capabilities. However, these benchmarks overlook the continuous evolution of tool interfaces and functionalities within MCP servers, resulting in flawed assessments that fail to capture the agent's adaptability in changing tool landscapes. To bridge this gap, we introduce \textbf{MCPEvol-Bench}, a novel benchmark for evaluating the task-solving capabilities of LLM agents under dynamic toolset evolution. Inspired by large-scale empirical study, we propose 11 mutation operators to simulate realistic tool evolution within 123 MCP servers. We benchmark 12 state-of-the-art LLMs on multiple versions of MCP servers, revealing that even frontier models struggle to adapt to evolving tools. For instance, GPT-5.4 and Claude-Sonnet-4-6 exhibit performance declines of 13.7\% and 14.4\% in evolved MCP servers, respectively, accompanied by substantial increases in planning and reasoning errors. These findings highlight the vulnerability of LLM-driven workflows, establishing MCPEvol-Bench as a standard for evaluating agent adaptability in dynamic tool environments.
• Abstract（参考訳）: Model Context Protocol (MCP) サーバが LLM と外部ツールを接続するためのコアインフラストラクチャとして出現するにつれて、既存のベンチマークは LLM エージェントのツール使用能力を評価するために現実世界の MCP サーバを活用している。 しかし、これらのベンチマークは、MSPサーバ内のツールインターフェースと機能の継続的な進化を見落としており、結果として、ツールのランドスケープを変える際のエージェントの適応性を捉えることができない欠陥のあるアセスメントをもたらしている。 このギャップを埋めるために、動的ツールセット進化下でのLLMエージェントのタスク解決能力を評価するための新しいベンチマークである \textbf{MCPEvol-Bench} を導入する。 大規模な実証研究から着想を得て,123のMPPサーバ内での現実的なツール進化をシミュレートする11の突然変異演算子を提案する。 我々は、MPPサーバの複数バージョンで12の最先端LCMをベンチマークし、フロンティアモデルでさえ進化するツールに適応するのに苦労していることを明らかにした。 例えば、GPT-5.4 と Claude-Sonnet-4-6 は、それぞれ MCP サーバで 13.7 % と 14.4 % のパフォーマンス低下を示し、計画と推論エラーが大幅に増加した。 これらの知見は、LCM駆動ワークフローの脆弱性を強調し、動的ツール環境におけるエージェント適応性を評価する標準としてMCPEvol-Benchを確立した。

関連論文リスト

• DeltaMCP: Incremental Regeneration via Spec-Aware Transformation for MCP servers [7.031397610711501]
  本稿では,エンタープライズ向けMPPサーバ用仕様対応インクリメンタルリジェネレーションツールであるDeltaMCPを紹介する。 その結果、メンテナンス性とバージョン整合性を改善しながら、DeltaMCPによる開発者のオーバーヘッドの削減が示されている。
  論文  参考訳（メタデータ） (2026-05-27T08:31:21Z)
• MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use [12.220519951554133]
  MCPAgentBenchは、エージェントのツール使用能力を評価するための実世界のMCP定義に基づくベンチマークである。 評価には動的サンドボックス環境が使われており、エージェントにイントラクタを含む候補ツールリストを表示する。 さまざまな最新の主要言語モデルで実施された実験は、複雑で多段階のツール呼び出しの処理において、大きなパフォーマンス上の違いを示している。
  論文  参考訳（メタデータ） (2025-12-31T02:09:48Z)
• MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools [58.5971352939562]
  大規模言語モデルは、複雑で現実的なタスクを実行するために、ますます外部ツールに依存しています。 既存のMSPリサーチは、少数のサーバーをカバーし、コストのかかる手作業によるキュレーションに依存し、トレーニングサポートが欠如している。 我々は大規模なサーバ発見、データ合成、モデルトレーニングのための自動Webエージェント駆動パイプラインであるMPP-Flowを紹介した。
  論文  参考訳（メタデータ） (2025-10-28T10:42:17Z)
• MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
  我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。 MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。 私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
  論文  参考訳（メタデータ） (2025-08-22T09:47:53Z)
• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools? [50.60770039016318]
  モデルコンテキストプロトコル(MCP)エージェントをベンチマークする最初の総合ベンチマークであるLiveMCPBenchを紹介する。 LiveMCPBenchは、MPPエコシステムに根ざした95の現実世界のタスクで構成されている。 評価は10の先行モデルを対象としており、最高の性能のモデルが78.95%の成功率に達した。
  論文  参考訳（メタデータ） (2025-08-03T14:36:42Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• ScaleMCP: Dynamic and Auto-Synchronizing Model Context Protocol Tools for LLM Agents [1.7217813564531652]
  ScaleMCPは、エージェントにMPPツールレトリバーを動的に装備する新しいツール選択アプローチである。 エージェントは、メモリにツールを追加する自律性に加えて、自動同期ツールストレージシステムパイプラインを提供する。 5000のファイナンシャルメトリックMCPサーバからなるデータセットを用いて総合評価を行い、ツール検索とエージェント起動性能を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-05-09T20:30:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。