論文の概要: DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers

• arxiv url: http://arxiv.org/abs/2607.20531v1
• Date: Fri, 10 Jul 2026 12:25:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.220304
• Title: DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers
• Title（参考訳）: DynamicMCPBench: LLMエージェントのトレース付きエフェクト付きベンチマーク
• Authors: Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Sergey Chuprin, Kirill Redko, Aidar Shumbalov, Anna Kalyuzhnaya,
• Abstract要約: 固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。 現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。 最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are increasingly deployed over Model Context Protocol (MCP) servers, yet the benchmarks used to evaluate them score the final answer or a fixed "ground-truth" list of tools, both of which are fragile once the underlying data is live and stateful. We present DynamicMCPBench, a reusable framework rather than a fixed dataset. A practitioner can run it on their own MCP servers to test models on their own tasks, or let it collect servers automatically to measure a model's general ability to solve agentic tasks. Given the servers and any set of models, it generates realistic goals, pursues each one live to record a successful trajectory, distills that trajectory into path-agnostic effect checkpoints, and scores an agent on whether it reproduces those effects, never on the final answer. To show what the framework reveals, we run it at scale: 24 models over 121 servers and 750 tasks spread evenly over 15 task categories (50 each), where each category targets a distinct tool-use challenge of the generated questions. Each task is scored by pass^3: it counts as solved only if all three independent attempts succeed. Even the strongest agents solve only about half of the tasks, 31% of tasks are solved by no model at all, and accuracy collapses as the required tool chain grows longer (from 39% on the shortest chains to 13% on the longest). A human validation study confirms the automatic scoring is reliable (chance-corrected agreement of 0.76). DynamicMCPBench thus turns benchmark construction into something practitioners can rerun on their own servers and models, while exposing a consistent inability of current agents to handle long, multi-step agentic tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、モデルコンテキストプロトコル(MCP)サーバ上にますますデプロイされるが、評価に使用されるベンチマークは、最終的な回答または固定された"地下構造"ツールのリストを取得する。 固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。 実践者は自身のMCPサーバ上でそれを実行して、自身のタスクでモデルをテストしたり、エージェントタスクを解決するためのモデルの一般的な能力を測定するために、自動的にサーバを収集することができる。 サーバとモデルのセットが与えられた場合、現実的な目標を生成し、成功軌道を記録するために生き残り、その軌道をパスに依存しない効果チェックポイントに蒸留し、最終的な答えではなく、それらの効果を再現するかどうかをエージェントにスコアする。 121のサーバに24のモデルがあり、750のタスクが15のタスクカテゴリ(それぞれ50)に均等に分散している。 それぞれのタスクはpass^3でスコアされ、3つの独立した試みがすべて成功した場合にのみ解決される。 最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデルなしで解決され、必要なツールチェーンが長くなると精度が低下する(最短のチェーンでは39%から最短のチェーンでは13%まで)。 人間の検証研究は、自動スコアリングが信頼できることを確認する(精度補正契約は0.76)。 これにより、DynamicMCPBenchは、ベンチマーク構築を、実践者が自身のサーバやモデル上で再実行できるものにし、また、長い、複数ステップのエージェントタスクを処理するための現在のエージェントの一貫性のない機能を明らかにします。

関連論文リスト

• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? [35.30497528897595]
  Agentic-MMEはマルチモーダルエージェント能力のプロセス検証ベンチマークである。 6つのドメインにまたがる418の現実世界タスクと3つの困難レベルを含んでいる。 2,000以上のステップワイズなチェックポイントがあり、1タスクあたり平均10時間以上の手動アノテーションがある。
  論文  参考訳（メタデータ） (2026-04-03T13:02:01Z)
• RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
  LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。 エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。 ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
  論文  参考訳（メタデータ） (2026-03-11T22:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。