論文の概要: MCPGen: Benchmarking LLMs on Executable MCPWorkflow Development

• arxiv url: http://arxiv.org/abs/2609.23925v1
• Date: Sun, 20 Sep 2026 22:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.956334
• Title: MCPGen: Benchmarking LLMs on Executable MCPWorkflow Development
• Title（参考訳）: MCPGen: 実行可能なMPPWorkflow開発に関するLLMのベンチマーク
• Abstract要約: モデルコンテキストプロトコル(MCP)ワークフロー開発のための実行可能なベンチマークである textbfMCPGen を紹介する。 MCPGenは16のアプリケーションドメインにわたる100の自己完結型MPPプロジェクトを含んでいる。 我々は, 1ターン基礎モデル設定で11個の代表LCMを評価し, 静的解析, ユニット・アンド・インテグレーションテスト, プロセス・ソリケート・エンド・ツー・エンドの実行を通じて生成したアーティファクトを評価した。
• 参考スコア（独自算出の注目度）: 34.15378556419188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study whether LLMs can produce executable workflow artifacts that remain consistent across graph structure, tool implementation, schema bindings, and runtime wiring. In this setting, correctness depends on cross-layer consistency: a workflow may be structurally plausible, yet still fail because tool implementations, schema bindings, or runtime execution do not align. Existing benchmarks largely evaluate these capabilities in isolation or rely on trajectory-level proxies, leaving open whether generated workflow artifacts execute end-to-end. We introduce \textbf{MCPGen}, an executable benchmark for Model Context Protocol (MCP) workflow development. MCPGen contains 100 self-contained MCP projects across 16 application domains and evaluates three diagnostic tasks: workflow reconstruction, tool creation, and backward-compatible workflow extension. We evaluate 11 representative LLMs in a single-turn foundation-model setting, assessing generated artifacts through static analysis, unit and integration tests, and process-isolated end-to-end execution. Models reach 88.5\% on workflow reconstruction, but no model exceeds 57\% end-to-end execution success. Per-tool unit-test pass rates reach 63.8\%, while project-level integration success does not exceed 45\%, suggesting that integration remains a major bottleneck even when isolated tool tests pass.
• Abstract（参考訳）: LLMがグラフ構造、ツール実装、スキーマバインディング、実行時配線に一貫性のある実行可能なワークフローアーティファクトを作成できるかどうかを検討する。 この設定では、正確性は層間の一貫性に依存します。ワークフローは構造的に妥当ですが、ツールの実装、スキーマバインディング、実行実行が整合しないため、まだ失敗します。 既存のベンチマークでは、これらの機能を独立して評価するか、あるいはトラジェクトリレベルのプロキシに依存しているため、生成されたワークフローアーティファクトがエンドツーエンドで実行されるかどうかは未定のままである。 本稿では,モデルコンテキストプロトコル (MCP) ワークフロー開発のための実行可能なベンチマークである \textbf{MCPGen} を紹介する。 MCPGenには16のアプリケーションドメインにわたる100の自己完結型CPプロジェクトが含まれており、ワークフローの再構築、ツール作成、後方互換性のあるワークフロー拡張という3つの診断タスクを評価している。 我々は, 1ターン基礎モデル設定で11個の代表LCMを評価し, 静的解析, ユニット・アンド・インテグレーションテスト, プロセス・ソリケート・エンド・ツー・エンドの実行を通じて生成したアーティファクトを評価した。 モデルはワークフローの再構築で88.5 %に達するが、57 % のエンドツーエンド実行の成功を超えるモデルはない。 ツールごとの単体テストの合格率は63.8 %に達するが、プロジェクトレベルの統合の成功は45 %を超えない。

関連論文リスト

• FlowScout: From Execution Feedback to Reliable Tool-Using Agent Workflows [6.767792769288717]
  FlowScoutは、過去のタスク解決レコードからツール統合エージェントを生成するための実行誘導フレームワークである。 最初に、最初のワークフローを構築するために、歴史的な記録から共通のツール調整をマイニングする。 その後、実行フィードバックによってガイドされたMonte Carloツリー検索を通じてワークフロートポロジを洗練する。
  論文  参考訳（メタデータ） (2026-08-10T08:41:59Z)
• COVENANT: Natural-Language Workflow Compilation for Aligned Agent Execution [12.755574564434788]
  本稿では,ワークフロー対応エージェント実行のためのコンパイラ・アンド・インタープリタアーキテクチャであるCOVENANTを提案する。 私たちの重要な洞察は、ワークフロー命令をプロンプトではなく、ソースプログラムとして扱うことです。 COVENANTは命令をワークフロー抽象構文木(WAST)に変換し、ワークフロー制御フローグラフ(WCFG)に変換する。
  論文  参考訳（メタデータ） (2026-07-28T07:59:50Z)
• StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows [15.552044829103373]
  構造工学要求のためのアーティファクト中心のワークベンチであるStructureClawを紹介します。 また、150の制御シナリオの実行可能なベンチマークであるStructureClaw-Benchを紹介します。 同じ50の標準ケースで評価された10のエージェントモデル構成の中で、平均成功率は56.8%、ジェネリックスキルベースラインは88.6%、完全な自動ワークフローは88.6%となっている。
  論文  参考訳（メタデータ） (2026-07-16T12:13:41Z)
• Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems [2.9725171307292544]
  ソフトウェアエンジニアリングエージェントを評価するための実運用基盤となるRAMPについて紹介する。 RAMPは、標準化されたオーケストレーションと実行インターフェースを通じて、統一されたランタイムアセスメントアーキテクチャを提供する。
  論文  参考訳（メタデータ） (2026-05-26T16:28:10Z)
• Learning to Compose for Cross-domain Agentic Workflow Generation [56.630382886594184]
  クロスドメインワークフロー生成のためのオープンソースのLLMを作成します。 さまざまなドメインにわたる再利用可能なワークフロー機能のコンパクトなセットを学びます。 当社の1パスジェネレータは、20イテレーションを消費するSOTAリファインメントベースラインを超えています。
  論文  参考訳（メタデータ） (2026-02-11T18:27:22Z)
• Flow: Modularized Agentic Workflow Automation [53.073598156915615]
  大規模言語モデル(LLM)を利用したマルチエージェントフレームワークは、自動計画とタスク実行において大きな成功を収めている。 しかし, 実行中のエージェントの効果的な調整は十分に研究されていない。 本稿では,エージェントによる継続的なワークフロー改善を可能にするアクティビティ・オン・頂点(AOV)グラフを定義する。 提案するマルチエージェントフレームワークは,サブタスクの効率的な同時実行,効果的なゴール達成,エラー耐性の向上を実現している。
  論文  参考訳（メタデータ） (2025-01-14T04:35:37Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。