論文の概要: MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers

• arxiv url: http://arxiv.org/abs/2602.00933v1
• Date: Sat, 31 Jan 2026 23:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.472973
• Title: MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers
• Title（参考訳）: MCP-Atlas: 実MPPサーバとのツール使用能力の大規模ベンチマーク
• Authors: Chaithanya Bandi, Ben Hertzberg, Geobio Boo, Tejas Polakam, Jeff Da, Sami Hassaan, Manasi Sharma, Andrew Park, Ernesto Hernandez, Dan Rambado, Ivan Salazar, Rafael Cruz, Chetan Rane, Ben Levin, Brad Kenstler, Bing Liu,
• Abstract要約: ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。 これには、現実的で多段階のオーケストレーションにおいて、ツール使用能力を評価するために設計された1000のタスクが含まれている。 モデルの最終回答で満たされた事実に基づく部分的信用を付与するクレームベースのルーブリックを使用してタスクをスコアする。
• 参考スコア（独自算出の注目度）: 5.463884405989425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Model Context Protocol (MCP) is rapidly becoming the standard interface for Large Language Models (LLMs) to discover and invoke external tools. However, existing evaluations often fail to capture the complexity of real-world scenarios, relying on restricted toolsets, simplistic workflows, or subjective LLM-as-a-judge metrics. We introduce MCP-Atlas, a large-scale benchmark for evaluating tool-use competency, comprising 36 real MCP servers and 220 tools. It includes 1,000 tasks designed to assess tool-use competency in realistic, multi-step workflows. Tasks use natural language prompts that avoid naming specific tools or servers, requiring agents to identify and orchestrate 3-6 tool calls across multiple servers. We score tasks using a claims-based rubric that awards partial credit based on the factual claims satisfied in the model's final answer, complemented by internal diagnostics on tool discovery, parameterization, syntax, error recovery, and efficiency. Evaluation results on frontier models reveal that top models achieve pass rates exceeding 50%, with primary failures arising from inadequate tool usage and task understanding. We release the task schema, containerized harness, and a 500-task public subset of the benchmark dataset to facilitate reproducible comparisons and advance the development of robust, tool-augmented agents.
• Abstract（参考訳）: Model Context Protocol (MCP) は、外部ツールを発見し、呼び出すためのLarge Language Models (LLMs) の標準インターフェースになりつつある。 しかし、既存の評価は、制限されたツールセット、単純化されたワークフロー、または主観的なLLM-as-a-judgeメトリクスに依存する、現実世界のシナリオの複雑さを捉えるのに失敗することが多い。 我々は,36の実際のMPPサーバと220のツールからなる,ツール使用能力評価のための大規模ベンチマークであるMPP-Atlasを紹介する。 これには、現実的でマルチステップのワークフローにおけるツール使用能力を評価するために設計された1000のタスクが含まれている。 タスクは自然言語プロンプトを使用して、特定のツールやサーバの命名を避ける。 モデルの最終回答で満たされた事実的クレームに基づいて部分的信用を付与するクレームベースのルーブリックを用いてタスクをスコアし、ツール発見、パラメータ化、構文、エラー回復、効率に関する内部診断を補完する。 フロンティアモデルの評価結果によると、トップモデルでは、ツールの使用不足とタスク理解による主な失敗により、50%以上のパスレートが達成されている。 我々は、再現可能な比較を容易にし、堅牢でツール強化されたエージェントの開発を進めるために、タスクスキーマ、コンテナ化されたハーネス、およびベンチマークデータセットの500タスクのパブリックサブセットをリリースします。

関連論文リスト

• MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use [12.220519951554133]
  MCPAgentBenchは、エージェントのツール使用能力を評価するための実世界のMCP定義に基づくベンチマークである。 評価には動的サンドボックス環境が使われており、エージェントにイントラクタを含む候補ツールリストを表示する。 さまざまな最新の主要言語モデルで実施された実験は、複雑で多段階のツール呼び出しの処理において、大きなパフォーマンス上の違いを示している。
  論文  参考訳（メタデータ） (2025-12-31T02:09:48Z)
• OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents [49.34040731113563]
  我々は,コンピュータ利用エージェントのツール実行,GUI操作,意思決定能力を評価するための,最初の総合的かつ公正なベンチマークであるOSWorld-MCPを提案する。 厳密な手作業による検証は158の高品質なツールをもたらし、それぞれが正しい機能、実用性、汎用性を検証します。 OSWorld-MCPはマルチモーダルエージェントの理解を深め、複雑なツール支援環境でのパフォーマンスを評価するための新しい標準を設定している。
  論文  参考訳（メタデータ） (2025-10-28T15:56:36Z)
• MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers [24.6512259539754]
  MCP-Benchは、大規模言語モデル(LLM)を現実的なマルチステップタスクで評価するためのベンチマークである。 MCP-Bench は Model Context Protocol (MCP) 上に構築されており、金融、旅行、科学計算、学術検索などの分野にまたがる250のツールにまたがる28のライブ MCP サーバに LLM を接続している。
  論文  参考訳（メタデータ） (2025-08-28T05:58:57Z)
• MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
  我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。 MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。 私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
  論文  参考訳（メタデータ） (2025-08-22T09:47:53Z)
• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [33.250579401886206]
  本稿では,モデルコンテキストプロトコル(MCP)フレームワークにおいて,LLM(Large Language Models)の性能を評価するために設計された最初の総合ベンチマークであるMPP-RADARを紹介する。 MCP-RADARは、数学的推論、Web検索、Eメール、カレンダー、ファイル管理、端末操作の6つの領域にまたがる507のタスクからなる挑戦的なデータセットを備えている。 主観的な人的評価やバイナリ成功のメトリクスに依存する従来のベンチマークとは異なり、MPP-RADARは複数のタスク領域にわたる客観的な定量測定を採用する。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。