論文の概要: AgentOrch: How Close Can Global Orchestration Come to Step-by-Step Interaction?
- arxiv url: http://arxiv.org/abs/2610.33375v1
- Date: Sat, 24 Oct 2026 00:08:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.314559
- Title: AgentOrch: How Close Can Global Orchestration Come to Step-by-Step Interaction?
- Title(参考訳): AgentOrch: グローバルオーケストレーションは,ステップバイステップのインタラクションにどの程度近いのか?
- Abstract要約: グローバルオーケストレーションと650のエンタープライズSOPと3,220のランタイムバリアントのステップバイステップインタラクションを比較します。
ステップバイステップは評価モデルごとに正確だが、このギャップは初期モデルから最新の最強モデルまで約79%縮小している。
- 参考スコア(独自算出の注目度): 41.03001403383706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise workflow agents typically rely on step-by-step interaction (Step-by-Step): the agent executes an action, observes its result, and invokes a large language model (LLM) again to decide the next step. Global orchestration (Global) instead generates a complete executable workflow in advance and executes it without further LLM calls, substantially reducing inference overhead, but it remains less accurate than Step-by-Step. We study how close Global can come to Step-by-Step and what narrows the remaining gap. We introduce AgentOrch, a benchmark that directly compares global orchestration with step-by-step interaction on 650 enterprise SOPs and 3,220 runtime variants under matched tools, environments, and evaluation. Step-by-Step remains more accurate for every evaluated model, but the gap has shrunk by about 79% from early models to the strongest recent model. We identify three routes to further narrowing this gap. Incremental workflow construction improves Global accuracy by an average of 9.98 percentage points (pp) without runtime execution feedback. Revising complete workflows with execution feedback improves all evaluated models, including 6.13 pp on held-out runtime variants. Targeted training on complete workflows improves accuracy by an average of 12.18 pp across all five trained models. Although a gap remains, global orchestration offers a promising path toward enterprise agents that deliver higher accuracy with fewer LLM calls.
- Abstract(参考訳): エンタープライズワークフローエージェントは通常、ステップバイステップのインタラクション(ステップバイステップ)に依存します。 エージェントはアクションを実行し、結果を観察し、大きな言語モデル(LLM)を再び呼び出して次のステップを決定する。
グローバルオーケストレーション(Global)は、事前に完全な実行ワークフローを生成して、さらなるLLMコールなしで実行することで、推論オーバーヘッドを大幅に削減するが、Step-by-Stepよりも正確ではない。
我々は、Globalがステップバイステップでどれだけ近づき、残りのギャップを狭めるかを研究する。
AgentOrchは、グローバルオーケストレーションと650のエンタープライズSOPと、マッチしたツール、環境、評価の下で3,220のランタイムバリアント上でのステップバイステップのインタラクションを直接比較するベンチマークです。
ステップバイステップは評価モデルごとに正確だが、このギャップは初期モデルから最新の最強モデルまで約79%縮小している。
このギャップをさらに狭めるための3つのルートを特定します。
インクリメンタルワークフローの構築により、実行時のフィードバックなしで、平均9.98ポイント(pp)のグローバル精度が向上する。
完全なワークフローの修正と実行フィードバックにより、すべての評価モデルが改善される。
完全なワークフローを目標とするトレーニングは、5つのトレーニングされたモデル全体で平均12.18ppの精度を向上させる。
ギャップは残るが、グローバルオーケストレーションは、より少ないLLM呼び出しで高い精度を提供するエンタープライズエージェントへの有望な道を提供する。
関連論文リスト
- FLOWSTEP: A Framework for Learning to Predict GitHub Actions Workflow STEPs [2.326379672591258]
FLOWSTEPはGitHub Actionsのステップ補完のためのフレームワークである。
ActionとScript生成を区別します。
確立されたベンチマークに基づいて、FLOWSTEPはエンドツーエンドのワークフローステップ予測精度を38.23%から51.09%に改善した。
論文 参考訳(メタデータ) (2026-10-26T15:57:17Z) - LAW: Unifying Language, Action, and World Modeling for Agentic Physical Intelligence [52.14897623664594]
本稿では,言語推論,アクション生成,世界モデリングを統合した閉ループVLM--WAMフレームワークであるLAWを紹介する。
LAWは50のRoboTwinタスクで平均94.21%の成功を達成した。
論文 参考訳(メタデータ) (2026-10-16T11:39:21Z) - OOPMAS: Object-Oriented Multi-Agent Systems for Query-Level Workflow Generation [55.27793983826255]
OOPMASは、エージェントセットと調整ワークフローの両方を個々のクエリの粒度で生成する、トレーニング不要のフレームワークである。
コード、数学、QAにまたがるクエリの混合タスクベンチマークでは、OOPMASは89.6%の精度を達成し、最強のベースラインを18.1ポイント上回っている。
論文 参考訳(メタデータ) (2026-10-06T05:31:29Z) - COVENANT: Natural-Language Workflow Compilation for Aligned Agent Execution [12.755574564434788]
本稿では,ワークフロー対応エージェント実行のためのコンパイラ・アンド・インタープリタアーキテクチャであるCOVENANTを提案する。
私たちの重要な洞察は、ワークフロー命令をプロンプトではなく、ソースプログラムとして扱うことです。
COVENANTは命令をワークフロー抽象構文木(WAST)に変換し、ワークフロー制御フローグラフ(WCFG)に変換する。
論文 参考訳(メタデータ) (2026-07-28T07:59:50Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳(メタデータ) (2026-06-30T06:06:08Z) - PerspectiveGap: A Benchmark for Multi-Agent Orchestration Prompting [6.877973774604102]
PerspectiveGapは、マルチエージェントシステムのためのオーケストレーションプロンプトを構成するLLMの機能を評価するためのベンチマークである。
10社の27社の商用モデルによる実験では、GPT-5.5は全てのライバルより大幅に優れていた。
論文 参考訳(メタデータ) (2026-06-07T23:26:12Z) - Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows [8.909548943361637]
BenchAgentは、単一エージェント、固定マルチエージェント(MAS)、および1つの正規化された実行およびロギングプロトコルの下でMASを進化させる。
BenchAgentは、GPT-4.1で10の推論、コーディング、ツール使用ベンチマークでこれらの基質内部を評価する。
PAE GAIAスナップショットでは、Claude-Codeスタイルのランタイムワークフローが全体の66.72%、Level 3では69.23%に達した。
論文 参考訳(メタデータ) (2026-06-04T03:50:47Z) - Do We Always Need Query-Level Workflows? Rethinking Agentic Workflow Generation for Multi-Agent Systems [72.3575737073235]
マルチエージェントシステム(MAS)は、複数のエージェントを協調することで複雑なタスクを解決する。
既存のアプローチはタスクレベルかクエリレベルで生成されるが、その相対的なコストと利点は未だ不明である。
クエリレベルのワークフロー生成は必ずしも必要ではない、なぜなら、トップKレベルのタスクレベルの小さなセットが、すでに同等あるいはそれ以上のクエリをカバーしているからだ。
論文 参考訳(メタデータ) (2026-01-16T10:05:51Z) - Pre-Act: Multi-Step Planning and Reasoning Improves Acting in LLM Agents [40.73340280747757]
大規模言語モデル(LLM)におけるReAct能力は、現代のエージェントシステムの基盤となっている。
マルチステップ実行計画を作成することでエージェントのパフォーマンスを向上させる新しいアプローチであるPre-Actを導入する。
我々のアプローチは会話エージェントと非会話エージェントの両方に適用できる。
論文 参考訳(メタデータ) (2025-05-15T05:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。