論文の概要: MS-Eval: Benchmarking Sub-Agent Delegation and Orchestration in MCP-Intensive Working Scenarios

• arxiv url: http://arxiv.org/abs/2610.22869v1
• Date: Fri, 16 Oct 2026 03:13:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.73782
• Title: MS-Eval: Benchmarking Sub-Agent Delegation and Orchestration in MCP-Intensive Working Scenarios
• Title（参考訳）: MS-Eval:MSP集約作業シナリオにおけるサブエージェントデリゲーションとオーケストレーションのベンチマーク
• Abstract要約: Main-Agent Delegation and Sub-Agent Execution (MAD-SAE)パラダイムは、サブタスクを特別なサブエージェントに委譲することで、分離されたコンテキストでの並列実行に対処する。 MS-Evalは、MCP集約ベンチマーク、制御された実行ハーネス、調整されたデリゲートとオーケストレーションメトリクス、総合的な評価のためのMSQインデックスで構成される統合評価キットである。
• 参考スコア（独自算出の注目度）: 9.349823995962431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are increasingly integrated into real-world works, yet they must handle diverse domain-specific tools and complex multi-sub-task problems that sequential tool invocation resolves inefficiently and with severe context bloat. The Main-Agent Delegation and Sub-Agent Execution (MAD-SAE) paradigm addresses these issues by delegating sub-tasks to specialized sub-agents for parallel execution in isolated contexts, but its delegation and orchestration quality remains unquantified. We introduce MS-Eval, a unified evaluation kit comprising an MCP-intensive benchmark, a controlled execution harness, tailored delegation and orchestration metrics, and the MSQ index for comprehensive assessment. Evaluating four MAD-SAE variants and eight frontier models reveals that (1) sub-agent specialization (Spec) is the best practical practice; (2) open-source models are largely competitive with few exceptions; and (3) MAD-SAE generally raises cost with contingent payoff, benefiting most open-source models in both performance and efficiency while leaving closed-source models with higher cost and degraded performance. Our case study further traces these gains to better single-agent solutions, effective context offloading, and genuine sub-task parallelism, whereas unnecessary or redundant delegation turns the same cost into pure overhead. Codes: https://github.com/LINs-lab/MS-Eval
• Abstract（参考訳）: LLMエージェントは、現実世界の作業にますます統合されているが、さまざまなドメイン固有のツールや、シーケンシャルなツール呼び出しが非効率かつ厳しいコンテキストの肥大で解決する複雑なマルチタスク問題に対処する必要がある。 Main-Agent Delegation and Sub-Agent Execution (MAD-SAE)パラダイムは、サブタスクを独立したコンテキストで並列実行するための特別なサブエージェントに委譲することで、これらの問題に対処する。 MCP集約ベンチマーク、制御された実行ハーネス、調整されたデリゲートとオーケストレーションメトリクス、総合的な評価のためのMSQインデックスを含む統合評価キットであるMS-Evalを紹介する。 4つのMAD-SAE変種と8つのフロンティアモデルを評価すると、(1)サブエージェントの特殊化(Spec)がベストプラクティスであり、(2)オープンソースモデルは例外がほとんどない。 ケーススタディでは、これらのメリットを、より優れた単一エージェントソリューション、効果的なコンテキストオフロード、真のサブタスク並列性に追従する一方、不要または冗長なデリゲートは、同じコストを純粋なオーバーヘッドにします。 コード:https://github.com/LINs-lab/MS-Eval

関連論文リスト

• Plan First, Judge Later, Run Better: A DMAIC-Inspired Agentic System for Industrial Anomaly Detection [51.90293101535452]
  本稿では, DMAIC-IAD (DMAIC-inspired Agentic Industrial Anomaly Detection) というマルチエージェントシステムを提案する。 DMAIC-IADは,適用対象のエージェントベースラインに対する平均検出性能を37.76%向上させる。
  論文  参考訳（メタデータ） (2026-06-03T08:38:14Z)
• Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition [61.291733522717415]
  Agent-as-Toolは並列オーケストレーションのパラダイムであり、エージェントとツールの両方を標準化された学習可能なアクション空間に緩和する。 ParaManagerは、サブタスク解決から計画決定を分離し、ステート対応の並列サブタスク分解、デリゲート、非同期実行を可能にする。 実験により、ParaManagerは複数のベンチマークで高い性能を示し、目に見えないモデルプールの下で堅牢な一般化を示す。
  論文  参考訳（メタデータ） (2026-04-18T14:41:27Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• MAS-Orchestra: Understanding and Improving Multi-Agent Reasoning Through Holistic Orchestration and Controlled Benchmarks [86.05918381895555]
  関数呼び出し強化学習問題としてMASオーケストレーションを定式化する訓練時間フレームワークとしてMASOrchestraを提案する。 MAS-Orchestraでは、複雑なゴール指向のサブエージェントは呼び出し可能な関数として抽象化され、システム構造に対する大域的推論を可能にする。 分析の結果,MASはタスク構造や検証プロトコル,オーケストレータとサブエージェントの両方の機能に大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2026-01-21T04:57:02Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• Difficulty-Aware Agentic Orchestration for Query-Specific Multi-Agent Workflows [5.376980683850103]
  本稿では,予測困難により誘導されるクエリ固有多エージェントを生成するDifficulty-Aware Agentic Orchestration (DAAO)を提案する。 DAAOは、精度と推論効率の両方において、従来のマルチエージェントシステムを上回る。
  論文  参考訳（メタデータ） (2025-09-14T03:57:43Z)
• CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models [23.50705152648991]
  マルチタスク学習(MTL)は,大規模言語モデル(LLM)の微調整に有効である LLM の既存の MTL 戦略は、計算集約的であるか、同時タスク収束の確保に失敗したかのいずれかによって、しばしば不足する。 本稿では,タスク収束バランスを最小限の計算オーバーヘッドで効果的に管理する新しいMTL手法であるCoBaを提案する。
  論文  参考訳（メタデータ） (2024-10-09T10:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。