論文の概要: MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

• arxiv url: http://arxiv.org/abs/2507.12806v1
• Date: Thu, 17 Jul 2025 05:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.354413
• Title: MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models
• Title（参考訳）: MCPEval:AIエージェントモデルのためのMCPベースのディープラーニング自動評価
• Authors: Zhiwei Liu, Jielin Qiu, Shiyu Wang, Jianguo Zhang, Zuxin Liu, Roshan Ram, Haolin Chen, Weiran Yao, Huan Wang, Shelby Heinecke, Silvio Savarese, Caiming Xiong,
• Abstract要約: 既存の手法は静的なベンチマークと労働集約的なデータ収集に依存しており、実際の評価を制限している。 我々は,オープンソースのモデルコンテキストプロトコル(MCP)ベースのフレームワークである oursystemname を紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。
• 参考スコア（独自算出の注目度）: 76.72220653705679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid rise of Large Language Models (LLMs)-based intelligent agents underscores the need for robust, scalable evaluation frameworks. Existing methods rely on static benchmarks and labor-intensive data collection, limiting practical assessment. We introduce \oursystemname, an open-source Model Context Protocol (MCP)-based framework that automates end-to-end task generation and deep evaluation of LLM agents across diverse domains. MCPEval standardizes metrics, seamlessly integrates with native agent tools, and eliminates manual effort in building evaluation pipelines. Empirical results across five real-world domains show its effectiveness in revealing nuanced, domain-specific performance. We publicly release MCPEval https://github.com/SalesforceAIResearch/MCPEval to promote reproducible and standardized LLM agent evaluation.
• Abstract（参考訳）: LLM(Large Language Models)ベースのインテリジェントエージェントの急速な普及は、堅牢でスケーラブルな評価フレームワークの必要性を浮き彫りにしている。 既存の手法は静的なベンチマークと労働集約的なデータ収集に依存しており、実際の評価を制限している。 我々は,多様なドメインにまたがるLLMエージェントのエンドツーエンドタスク生成と深い評価を自動化する,MCPベースのオープンソースのフレームワークである‘oursystemname’を紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。 我々は、再現可能で標準化されたLLMエージェント評価を促進するために、MCPEval https://github.com/SalesforceAIResearch/MCPEvalをリリースした。

関連論文リスト

• FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
  FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。 本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
  論文  参考訳（メタデータ） (2025-05-26T08:21:46Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [11.809732662992982]
  本稿では,モデルコンテキストプロトコル (MCP) フレームワークにおける大規模言語モデル (LLM) の性能を評価するために設計された,最初の総合ベンチマークである MCP-RADAR を紹介する。 MCP-RADARは主観的な人的評価やバイナリ成功メトリクスに依存する従来のベンチマークとは異なり、複数のタスク領域にわたって客観的に定量化されている。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction [29.72874725703848]
  大規模言語モデル(LLM)は、様々な垂直領域に徐々に展開されている。 現在の評価方法は、実世界の要求に合致しない静的でリソース集約的なデータセットに依存している。 textbfBenchmark+は従来の質問応答ベンチマークを、より柔軟な戦略基準のフォーマットに拡張します。 我々は,これらの概念を実装したエージェントベースの評価フレームワークであるtextbftextscTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。