論文の概要: OrchBench: Evaluating Multi-Agent Orchestration Plans in Isolation via Deterministic Simulation

• arxiv url: http://arxiv.org/abs/2607.25656v1
• Date: Tue, 28 Jul 2026 12:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.836843
• Title: OrchBench: Evaluating Multi-Agent Orchestration Plans in Isolation via Deterministic Simulation
• Title（参考訳）: OrchBench: 決定論的シミュレーションによる分離におけるマルチエージェントオーケストレーション計画の評価
• Abstract要約: シミュレーションに基づくマルチエージェントオーケストレーション計画評価ベンチマークであるOrchBenchについて述べる。 決定論的シミュレータは、労働者エージェントを呼び出すことなく、結果の計画を評価し、結果の質、メースパン、トークンコストの解釈可能な尺度を返す。 多様なプランナーやワークフローの規模で見ると、単にエージェントの数を増やすよりも、タスククリティカルな情報を保存することが重要であることが分かります。
• 参考スコア（独自算出の注目度）: 41.885817564161975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex tasks often decompose into parallelizable yet interdependent subtasks, making orchestration critical to the performance of multi-agent systems (MAS). Existing evaluations typically rely on end-to-end execution, which conflates orchestration-plan quality with worker capabilities, tool reliability, and environmental noise. Moreover, the time and token costs of real execution grow rapidly with workflow scale, making systematic evaluation expensive. We present OrchBench, a simulation-based benchmark for evaluating multi-agent orchestration plans in isolation. Starting from real-world tasks, OrchBench constructs directed acyclic graphs (DAGs) that encode task dependencies, with controlled sizes and degrees of parallelism. Given a DAG, a per-agent context limit, and an agent budget, the evaluated planner assigns subtasks to agents and specifies cross-agent information transfers and their retention ratios. A deterministic simulator evaluates the resulting plan without invoking worker agents and returns interpretable measures of result quality, makespan, and token cost. The simulated scores produced by OrchBench correlate strongly with quality scores from Claude Code executions, achieving a Pearson correlation of \(r=0.816\), while requiring only \(1.3\%\) of the tokens and \(10.3\%\) of the wall-clock time. Across diverse planners and workflow scales, we find that preserving task-critical information is more important than simply increasing the number of agents, and the benefits of parallelism diminish as coordination failures accumulate. These results establish OrchBench as an efficient and interpretable benchmark for comparing and diagnosing multi-agent orchestration plans.
• Abstract（参考訳）: 複雑なタスクはしばしば並列化可能で相互依存的なサブタスクに分解され、マルチエージェントシステム(MAS)のパフォーマンスにオーケストレーションが重要となる。 既存の評価は、一般的にエンドツーエンドの実行に依存しており、オーケストレーションプランの品質とワーカー機能、ツールの信頼性、環境騒音を混同している。 さらに、実際の実行の時間とトークンコストはワークフロースケールで急速に増加し、体系的な評価が高価になる。 シミュレーションに基づくマルチエージェントオーケストレーション計画評価ベンチマークであるOrchBenchについて述べる。 実世界のタスクから始まり、OrchBenchはタスク依存を符号化する有向非巡回グラフ(DAG)を構築し、サイズや並列性の度合いを制御した。 DAG、エージェント単位のコンテキスト制限、エージェント予算が与えられた場合、評価されたプランナーはエージェントにサブタスクを割り当て、エージェント間の情報転送とその保持率を指定する。 決定論的シミュレータは、労働者エージェントを呼び出すことなく、結果の計画を評価し、結果の質、メースパン、トークンコストの解釈可能な尺度を返す。 OrchBenchによるシミュレーションスコアは、Claude Codeの実行による品質スコアと強く相関し、(r=0.816\)のピアソン相関を達成すると同時に、トークンの(1.3\%\)とウォールタイムの(10.3\%\)しか必要としない。 多様なプランナーやワークフローのスケールにわたって、タスククリティカルな情報の保存は単にエージェントの数を増やすよりも重要であり、協調の失敗が蓄積されるにつれて並列性の利点は減少する。 これらの結果から、OrchBenchはマルチエージェントオーケストレーション計画の比較と診断のための効率的かつ解釈可能なベンチマークとして確立されている。

関連論文リスト

• DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
  我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。 結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。 これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
  論文  参考訳（メタデータ） (2026-08-27T02:36:23Z)
• PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents [79.28372522980153]
  PeakBenchは、実行可能なマルチツール依存アノテーションと測定リソースプロファイルのベンチマークである。 我々は,強い論理的計画が資源制約下での安全あるいは効率的な実行に確実に変換されないことを示す。 PeakBenchは、リソース認識エージェントの振る舞いの診断に有用なテストベッドである。
  論文  参考訳（メタデータ） (2026-08-25T12:56:08Z)
• Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
  本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。 プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。 レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
  論文  参考訳（メタデータ） (2026-05-01T21:17:55Z)
• Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
  本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。 我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
  論文  参考訳（メタデータ） (2026-04-01T07:59:59Z)
• Do We Always Need Query-Level Workflows? Rethinking Agentic Workflow Generation for Multi-Agent Systems [72.3575737073235]
  マルチエージェントシステム(MAS)は、複数のエージェントを協調することで複雑なタスクを解決する。 既存のアプローチはタスクレベルかクエリレベルで生成されるが、その相対的なコストと利点は未だ不明である。 クエリレベルのワークフロー生成は必ずしも必要ではない、なぜなら、トップKレベルのタスクレベルの小さなセットが、すでに同等あるいはそれ以上のクエリをカバーしているからだ。
  論文  参考訳（メタデータ） (2026-01-16T10:05:51Z)
• GAP: Graph-Based Agent Planning with Parallel Tool Use and Reinforcement Learning [20.75113227786218]
  グラフベースのエージェント計画(GAP)は、グラフベースの計画を通じてタスク間の依存関係を明示的にモデル化する新しいフレームワークである。 我々のアプローチは、複雑なタスクを依存性を意識したサブタスクグラフに分解する基礎モデルを訓練する。 この依存性を意識したオーケストレーションは、実行効率とタスクの正確性の両方で大幅に改善される。
  論文  参考訳（メタデータ） (2025-10-29T09:35:55Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。