論文の概要: DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows
- arxiv url: http://arxiv.org/abs/2605.19099v1
- Date: Mon, 18 May 2026 20:37:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.979404
- Title: DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows
- Title（参考訳）: DecisionBench: 長距離エージェントワークフローにおける創発的デリゲーションのベンチマーク
- Authors: Yuxuan Gao, Megan Wang, Yi Ling Yu, Zijian Carl Ma, Ao Qu,
- Abstract要約: DecisionBenchはエージェントルータにおける創発的デリゲートのためのベンチマーク基板である。
ピア情報の生成や配信の仕方に非依存であるため、学習された、より豊かなピアメモリ、適応プロファイル構築、マルチステップデリゲートを評価できる。
- 参考スコア（独自算出の注目度）: 1.7833981590792016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce DecisionBench, a benchmark substrate for emergent delegation in long-horizon agentic workflows. The substrate fixes a task suite (GAIA, tau-bench, BFCL multi-turn), a peer-model pool (11 models, 7 vendor families), a delegation interface (call_model plus an optional read_profile channel), a deterministic skill-annotation layer, and a multi-axis metric suite covering quality, cost, latency, delegation rate, routing fidelity-at-k, vendor self-preference, and a counterfactual-delegation ceiling. The substrate is agnostic to how peer information is generated or delivered, so learned routers, richer peer memories, adaptive profile construction, and multi-step delegation can all be evaluated against it. We characterize the substrate with a five-condition reference sweep on the full pool (n=23,375 task instances). Three benchmark-level findings emerge: (i) mean end-task quality is statistically indistinguishable across the four awareness conditions (|beta| <= 0.010, p >= 0.21), so quality-only evaluation would miss the orchestration signal; (ii) routing fidelity-at-1 ranges from 7.5% to 29.5% across conditions at near-equal mean quality, with delivery channel (on-demand tool vs. preloaded description) dominating description content; (iii) a counterfactual ceiling places perfect delegation 15-31 percentage points above measured performance on every suite, locating large unrealized headroom for future orchestration methods. We release the substrate, annotation layer, reference intervention suite, analysis pipeline, and 220 per-condition run archives.
- Abstract（参考訳）: 本稿では,長距離エージェントワークフローにおける創発的デリゲートのためのベンチマーク基板であるDecisionBenchを紹介する。
基板は、タスクスイート(GAIA, tau-bench, BFCL multi-turn)、ピアモデルプール(11モデル、7ベンダーファミリー)、デリゲートインターフェース(call_modelおよびオプションのread_known channel)、決定論的スキルアノテーション層、および品質、コスト、レイテンシ、デリゲートレート、ルーティングフィデリティ-アット-k、ベンダーの自己参照、および反ファクトリアル-デリゲート天井を含む多軸メトリックスイートを固定する。
基板はピア情報の生成や配信の仕方に非依存であるため、学習したルータ、よりリッチなピアメモリ、適応プロファイル構築、マルチステップデリゲートはすべて、それに対して評価することができる。
我々は,全プール上の5条件参照スイープ(n=23,375タスクインスタンス)を特徴付ける。
ベンチマークレベルの調査結果が3つ浮かび上がっている。
(i)平均エンドタスク品質は、4つの認識条件(|beta| <= 0.010, p >= 0.21)で統計的に区別できないため、品質のみの評価ではオーケストレーション信号が見逃される。
(II)経路忠実度-at-1は、ほぼ等質の条件で7.5%から29.5%の範囲で、配送チャンネル(オンデマンドツール対プレロード記述)が記述内容を支配している。
三 カウンターファクチュアル天井は、各スイートの計測性能の15～31ポイント以上の完全デリゲートを配置し、将来のオーケストレーション方法のための大規模な非現実化ヘッドルームを配置する。
我々は、基板、アノテーション層、参照介入スイート、分析パイプライン、220の条件毎の実行アーカイブをリリースする。
関連論文リスト
- Deterministic Event-Graph Substrates as World Models for Counterfactual Reasoning [0.0]
本研究では,エージェント状態を表す世界モデルのクラスを,タイプ付きRDFトリプルの付加オンリーログとして検討し,ログをフォークすることで対実クエリに応答する。
基板はトリプルレベルで検査可能で、正確なカウンターファクトをサポートし、学習済みのコンポーネントなしでドメイン間で転送できる。
論文 参考訳（メタデータ） (2026-05-15T13:58:31Z) - Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts [0.07812854697536452]
6つのベンチマークで206,000のクエリモデルペアを持つマルチ層LSMルーティングについて大規模に検討する。
報告された未解決性のかなりの部分は, 評価成果物に起因していることが示されている。
論文 参考訳（メタデータ） (2026-05-08T07:49:24Z) - Uno-Orchestra: Parsimonious Agent Routing via Selective Delegation [29.295002935617433]
タスクを選択的に分解し,各サブタスクを許容可能なペアにディスパッチする統合オーケストレーションポリシであるUno-Orchestraを導入する。
Uno-Orchestraは77.0%のマクロパス@1に達しており、ワークフローベースラインよりも約16%高い。
論文 参考訳（メタデータ） (2026-05-06T15:07:14Z) - ClawEnvKit: Automatic Environment Generation for Claw-Like Agents [85.29126619772153]
我々は、オンデマンドで検証された環境を生成することができる自動生成パイプラインであるClawEnvKitを紹介する。
ClawEnvKitは、(1)自然言語入力から構造化生成パラメータを抽出するパイプライン、(2)タスク仕様、ツールインターフェース、スコアリング設定を生成するジェネレータ、(3)実現可能性、多様性、構造的妥当性、内部整合性を強制するバリデータからなる。
爪のようなエージェントの大規模なベンチマークであるAuto-ClawEvalを構築し、24のカテゴリで1,040の環境を網羅した。
論文 参考訳（メタデータ） (2026-04-20T17:36:49Z) - CADMAS-CTX: Contextual Capability Calibration for Multi-Agent Delegation [0.0]
CADMAS-CTXはコンテキストキャリブレーションのためのフレームワークである。
階層的なコンテキスト能力プロファイルは、静的なスキルレベルの信頼性をコンテキスト条件の後方に置き換える。
GAIAとSWE-benchベンチマークを用いて,本手法の有効性を実証的に検証した。
論文 参考訳（メタデータ） (2026-04-20T08:30:28Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Multi-Task Classification of Sewer Pipe Defects and Properties using a
Cross-Task Graph Neural Network Decoder [56.673599764041384]
我々は、新しいデコーダ指向マルチタスク分類アーキテクチャ、クロスタスクグラフニューラルネットワーク(CT-GNN)を提案する。
CT-GNNは、クロスタスク情報を用いてタスクごとの解離予測を洗練する。
我々は,Swer-MLデータセットの4つの分類タスクすべてに対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-11-15T15:36:50Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。