論文の概要: OrchestraBench: Evaluating Multi-Agent Orchestration Failure Modes, Recovery, and Decomposition Quality
- arxiv url: http://arxiv.org/abs/2608.05263v1
- Date: Wed, 05 Aug 2026 17:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.768088
- Title: OrchestraBench: Evaluating Multi-Agent Orchestration Failure Modes, Recovery, and Decomposition Quality
- Title（参考訳）: OrchestraBench: マルチエージェントオーケストレーション障害モードの評価、リカバリ、分解品質
- Abstract要約: OrchestraBenchは、テンプレート化されたエンタープライズ上で、制御された、シード再現可能な障害注入ハーネスを通じて、障害、リカバリ、分解を評価する。
主要な指標としてカスケード半径とフェイルモード毎のリカバリを導入し、ルーティングポリシをブートストラップの信頼性間隔とペアテストと比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent orchestration frameworks are moving from demos to production, yet benchmarks typically report task accuracy without diagnosing why a pipeline failed, where a cascade began, or which routing decision caused the breakdown. OrchestraBench evaluates failure, recovery, and decomposition through a controlled, seed-reproducible failure-injection harness over templated enterprise workflows. It introduces cascade radius and per-failure-mode recovery as primary metrics and compares routing policies with bootstrap confidence intervals and paired tests. On a 26-case gold-labelled diagnostic, a keyword/flag router scored 0% on adversarial cases with misleading or missing surface flags, whereas an intent-reasoning model router scored 100%, matching the oracle. Controlled mechanism probes with a real Claude agent over a verifiable arithmetic dependency chain revealed three failure-handling tiers across five MAST modes: tool faults recovered fully (1.0), ambiguous delegation recovered partially (0.30), and three latent or semantic modes never recovered (0.0). This ordering persisted when the computation was reframed as a loan-approval workflow and across Sonnet, Opus, and Haiku, although absolute rates shifted with context. Blind retry reproduced latent faults and increased time to detection, indicating that detection and attribution are necessary for containment. Cascade radius increased with pipeline depth (mean 0.9 to 4.7 across depths 3-7). A trusted-state repair ablation showed that apparent containment gains primarily came from the trusted-state signal rather than autonomous detection. These results are controlled-chain mechanism probes, not domain-workload claims.
- Abstract（参考訳）: マルチエージェントオーケストレーションフレームワークはデモから本番環境に移行しているが、ベンチマークは通常、なぜパイプラインが故障したのか、カスケードの開始した場所、あるいはどのルーティング決定が故障を引き起こしたのかを診断することなく、タスクの正確さを報告している。
OrchestraBenchは、テンプレート化されたエンタープライズワークフロー上で、制御された、シード再現可能な障害注入ハーネスを通じて、障害、リカバリ、分解を評価する。
主要な指標としてカスケード半径とフェイルモード毎のリカバリを導入し、ルーティングポリシをブートストラップの信頼性間隔とペアテストと比較する。
26ケースのゴールドラベリング診断では、キーワード/フラッグルータは、誤解を招いたり、表面のフラグを欠いた敵のケースで0%、意図推論モデルルータは100%、オラクルと一致した。
検証可能な算術的依存チェーン上の実クロードエージェントを用いた制御機構プローブでは,5つのMASTモードにまたがる3つの障害処理層が明らかになった。
この順序は、計算がローン承認ワークフローとして再設定され、Sonnet、Opus、Haikuをまたいで継続されたが、絶対レートはコンテキストによって変化した。
Blind retry は潜伏断層を再現し,検出に要する時間を増加させた。
カスケード半径はパイプライン深度とともに増加した(深さ3～7で0.9から4.7)。
信頼状態の修復アブレーションは、明らかな封じ込めの利得は、自律的な検出ではなく、信頼状態の信号によるものであることを示した。
これらの結果は、ドメイン・ワークロード・クレームではなく、制御チェーン・メカニズム・プローブである。
関連論文リスト
- What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Regimes: An Auditable, Held-Out-Gated Improvement Loop Demonstrated on LongMemEval with ActiveGraph [0.0]
イベントソースのエージェントランタイムは、制御された改善をファーストクラスのワークフローに変換する。
エージェントの状態が追加のみのイベントログの決定論的プロジェクションである場合、障害が記録され、実行がログから正確にリプレイされ、候補パッチスコープがタイプされたパイプラインシームに反映され、ゲートが監査可能である。
我々は、ActiveGraphランタイムのループであるRegimesでこれを実証し、失敗した評価を診断し、パイプラインポイントで修復を提案し、静的チェック、サンドボックスの実行、インサンプル評価、ホールドアウトバリデーションの後にのみそれを促進します。
論文 参考訳（メタデータ） (2026-06-08T23:04:35Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳（メタデータ） (2026-06-01T10:50:26Z) - Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。
セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
論文 参考訳（メタデータ） (2026-05-31T19:27:22Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳（メタデータ） (2026-04-27T14:13:30Z) - Label-Free Detection of Governance Evidence Degradation in Risk Decision Systems [0.0]
不正検出・信用スコアリングにおけるリスク決定システムは、構造ラベルが存在しない状態で運用される。
既存のフレームワークは、ドリフト検出とガバナンスエビデンス評価と運用対応を統合していません。
本稿では,ガバナンスドリフトツールキットのラベルフリーガバナンス監視拡張について述べる。
論文 参考訳（メタデータ） (2026-04-20T05:46:15Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。