論文の概要: MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use

• arxiv url: http://arxiv.org/abs/2512.24565v1
• Date: Wed, 31 Dec 2025 02:09:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.54022
• Title: MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use
• Title（参考訳）: MCPAgentBench: LLMエージェントMCPツールの実際のタスクベンチマーク
• Authors: Wenrui Liu, Zixiang Liu, Elsie Dai, Wenhan Yu, Lei Yu, Tong Yang,
• Abstract要約: MCPAgentBenchは、エージェントのツール使用能力を評価するための実世界のMCP定義に基づくベンチマークである。 評価には動的サンドボックス環境が使われており、エージェントにイントラクタを含む候補ツールリストを表示する。 さまざまな最新の主要言語モデルで実施された実験は、複雑で多段階のツール呼び出しの処理において、大きなパフォーマンス上の違いを示している。
• 参考スコア（独自算出の注目度）: 12.220519951554133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly serving as autonomous agents, and their utilization of external tools via the Model Context Protocol (MCP) is considered a future trend. Current MCP evaluation sets suffer from issues such as reliance on external MCP services and a lack of difficulty awareness. To address these limitations, we propose MCPAgentBench, a benchmark based on real-world MCP definitions designed to evaluate the tool-use capabilities of agents. We construct a dataset containing authentic tasks and simulated MCP tools. The evaluation employs a dynamic sandbox environment that presents agents with candidate tool lists containing distractors, thereby testing their tool selection and discrimination abilities. Furthermore, we introduce comprehensive metrics to measure both task completion rates and execution efficiency. Experiments conducted on various latest mainstream Large Language Models reveal significant performance differences in handling complex, multi-step tool invocations. All code is open-source at Github.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自律的なエージェントとしてますます機能し、モデルコンテキストプロトコル(MCP)による外部ツールの利用は、将来のトレンドと考えられている。 現在のMPP評価セットは、外部MPPサービスへの依存や難易度認識の欠如といった問題に悩まされている。 これらの制約に対処するため,エージェントのツール使用能力を評価するために,実世界のMCP定義に基づくベンチマークMCPAgentBenchを提案する。 我々は、真正なタスクを含むデータセットを構築し、MPPツールをシミュレートする。 評価には動的サンドボックス環境が使われており、エージェントにイントラクタを含む候補ツールリストを表示し、ツールの選択と識別能力をテストする。 さらに,タスク完了率と実行効率の両方を測定するための総合的な指標を導入する。 さまざまな最新の主要言語モデルで実施された実験は、複雑で多段階のツール呼び出しの処理において、大きなパフォーマンス上の違いを示している。 すべてのコードはGithubで公開されている。

関連論文リスト

• ML-Tool-Bench: Tool-Augmented Planning for ML Tasks [23.54937738755734]
  ツール強化機械学習エージェントの評価のためのベンチマークを導入する。 私たちのベンチマークは、インメモリ名のオブジェクト管理を組み込むことで、従来のツール使用の評価を超えています。 我々のアプローチはReActよりも16.2%向上し、すべてのKaggle課題の中央値を取ります。
  論文  参考訳（メタデータ） (2025-11-29T23:59:40Z)
• OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents [49.34040731113563]
  我々は,コンピュータ利用エージェントのツール実行,GUI操作,意思決定能力を評価するための,最初の総合的かつ公正なベンチマークであるOSWorld-MCPを提案する。 厳密な手作業による検証は158の高品質なツールをもたらし、それぞれが正しい機能、実用性、汎用性を検証します。 OSWorld-MCPはマルチモーダルエージェントの理解を深め、複雑なツール支援環境でのパフォーマンスを評価するための新しい標準を設定している。
  論文  参考訳（メタデータ） (2025-10-28T15:56:36Z)
• MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers [24.6512259539754]
  MCP-Benchは、大規模言語モデル(LLM)を現実的なマルチステップタスクで評価するためのベンチマークである。 MCP-Bench は Model Context Protocol (MCP) 上に構築されており、金融、旅行、科学計算、学術検索などの分野にまたがる250のツールにまたがる28のライブ MCP サーバに LLM を接続している。
  論文  参考訳（メタデータ） (2025-08-28T05:58:57Z)
• MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
  我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。 MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。 私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
  論文  参考訳（メタデータ） (2025-08-22T09:47:53Z)
• MCPToolBench++: A Large Scale AI Agent Model Context Protocol MCP Tool Use Benchmark [6.470909719300937]
  Model Context Protocol(MCP)は、AI Agentにコンテキストを供給する標準化された方法を提供する。 LLMとAI AgentsのMPPツール使用能力の評価にはいくつかの問題がある。 大規模マルチドメインAIエージェントツールのベンチマークであるMPPToolBench++を提案する。
  論文  参考訳（メタデータ） (2025-08-11T03:16:02Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [33.250579401886206]
  本稿では,モデルコンテキストプロトコル(MCP)フレームワークにおいて,LLM(Large Language Models)の性能を評価するために設計された最初の総合ベンチマークであるMPP-RADARを紹介する。 MCP-RADARは、数学的推論、Web検索、Eメール、カレンダー、ファイル管理、端末操作の6つの領域にまたがる507のタスクからなる挑戦的なデータセットを備えている。 主観的な人的評価やバイナリ成功のメトリクスに依存する従来のベンチマークとは異なり、MPP-RADARは複数のタスク領域にわたる客観的な定量測定を採用する。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。