論文の概要: MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing
- arxiv url: http://arxiv.org/abs/2608.00107v1
- Date: Fri, 31 Jul 2026 07:01:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.44338
- Title: MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing
- Title（参考訳）: MetaRoute-Bench: エージェントワークフロールーティングのためのメタ決定ポリシーの評価
- Abstract要約: 共有実行モデルの下でメタ決定ポリシーを比較するためのオープンで検査可能なフレームワークであるMetaRoute-Benchを提案する。
タスク対応のコンポジションポリシは79.4%が成功し、強いワークロード固有の静的ポリシでは76.7%が成功している。
静的ポリシーとは対照的に、これは2.7パーセントの改善であり、ペアの95%CIプラスまたはマイナス2.0ポイント、平均コストが4.7%、レイテンシが6.4%向上している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic systems must repeatedly decide whether to answer directly, decompose a task, invoke a tool, execute code, delegate to a specialist, verify an intermediate result, or recover from failure. These meta-decisions affect not only task success but also operating cost and latency, yet they are often embedded inside an orchestration framework and evaluated only through aggregate task accuracy. We present MetaRoute-Bench, an open, inspectable framework for comparing meta-decision policies under a shared execution model. The initial benchmark contains 180 synthetic task profiles spanning data analysis, research, and document processing, eight routing policies, and 30 paired random seeds. Across 43,200 traces, a task-aware compositional policy achieves 79.4% success compared with 76.7% for a strong workload-specific static policy, 67.4% for one-shot task routing, and 52.9% for direct answering. Relative to the static policy, this is a 2.7 percentage-point improvement with paired 95% CI of plus or minus 2.0 points, at 4.7% higher mean cost and 6.4% higher latency. Ablations show the largest losses when route composition is restricted to one operation and when verification is removed. These results are generated by a seeded offline execution model rather than a live deployment; accordingly, the primary contribution is a reproducible evaluation method and an analysis of routing-policy tradeoffs, not evidence of production effectiveness. We release task generation, policies, traces, tests, and analysis artifacts to support live-system validation.
- Abstract（参考訳）: エージェントシステムは、直接答えるか、タスクを分解し、ツールを実行し、コードを実行し、スペシャリストに委譲し、中間結果を検証するか、失敗から回復するかを、繰り返し決めなければならない。
これらのメタ決定は、タスクの成功だけでなく、コストとレイテンシの操作にも影響します。
共有実行モデルの下でメタ決定ポリシーを比較するためのオープンで検査可能なフレームワークであるMetaRoute-Benchを提案する。
最初のベンチマークには、データ分析、研究、ドキュメント処理にまたがる180の合成タスクプロファイル、8のルーティングポリシー、30のペアランダムシードが含まれている。
43,200のトレースでタスク対応のコンポジションポリシが79.4%、強いワークロード固有の静的ポリシが76.7%、ワンショットタスクルーティングが67.4%、直接回答が52.9%である。
静的ポリシーとは対照的に、これは2.7パーセントの改善であり、ペアの95%CIプラスまたはマイナス2.0ポイント、平均コストが4.7%、レイテンシが6.4%向上している。
アブレーションは、経路構成が1つの操作に制限され、検証が除去された場合に最も大きな損失を示す。
これらの結果は、実運用ではなく、シード化されたオフライン実行モデルによって生成されるため、主な貢献は、生産効果の証拠ではなく、再現可能な評価方法とルーティング・ポリティクストレードオフの分析である。
タスク生成、ポリシー、トレース、テスト、分析成果物をリリースして、ライブシステム検証をサポートします。
関連論文リスト
- TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。
この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。
提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
論文 参考訳（メタデータ） (2026-08-28T04:33:11Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark [0.0]
本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
論文 参考訳（メタデータ） (2026-07-31T07:00:49Z) - Mastermind: Strategy-grounded Learning for Repository-Scale Vulnerability Reproduction [62.42945715963878]
リポジトリレベルの脆弱性の再現は、要求の多いソフトウェアエンジニアリング(SE)タスクである。
最近のLLMエージェントは、アプローチが正しい場合、しばしばこれらのステップを実行するが、間違った戦略を選択することで失敗する。
本論では, アクションの完全な軌跡ではなく, 戦略がSEエージェントの適切な学習単位であることを論じる。
論文 参考訳（メタデータ） (2026-07-02T06:27:27Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation [0.0]
自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。
Rego v1ポリシを備えた186タスクのAWS/TerraformベンチマークであるIaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を示す。
論文 参考訳（メタデータ） (2026-05-29T12:43:27Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation [11.272830796781925]
8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。
このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。
本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
論文 参考訳（メタデータ） (2026-05-13T03:00:57Z) - Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。
Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。
本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
論文 参考訳（メタデータ） (2026-04-04T17:56:30Z) - Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison [17.732982117200425]
汎用的なロボット操作ポリシーはますます有能になりつつあるが、少数のハードウェアロールアウトに限られている。
本研究は, サンプル効率が高く, 統計的に厳密で, 実際に使用される幅広い評価指標に適用可能な, ロボット政策比較のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2026-03-13T21:47:48Z) - Semantic Consensus: Process-Aware Conflict Detection and Resolution for Enterprise Multi-Agent LLM Systems [0.0]
エンタープライズAI自動化の主要なアーキテクチャとして,マルチエージェント大規模言語モデル(LLM)システムが急速に普及している。
生産は41%から86.7%の失敗率を示しており、その約79%は仕様や調整の問題に起因する失敗である。
6つのコンポーネントからなるプロセス認識フレームワークSemantic Consensus Framework(SCF)を提案する。
論文 参考訳（メタデータ） (2026-03-13T14:55:38Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。