論文の概要: Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark
- arxiv url: http://arxiv.org/abs/2608.00106v1
- Date: Fri, 31 Jul 2026 07:00:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 21:56:46.355987
- Title: Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark
- Title（参考訳）: エージェントワークフローのための合成メタルーチン学習:実行可能なベンチマーク
- Abstract要約: 本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic systems must decide not only what answer to produce, but which reasoning and execution operations should precede it. A controller may answer directly, decompose a request, retrieve evidence, execute code, delegate to a specialist, or verify an intermediate result. Existing routing work largely selects model endpoints, retrieval depth, or tools in isolation. We introduce an executable benchmark and a budget-aware meta-router that composes heterogeneous operations from raw task text. The benchmark contains 216 training, 72 development, 108 held-out test, and 108 locked lexical-shift challenge tasks across data analysis, frozen-corpus research, and document processing. Outcomes are machine checked after operations execute. Independent regularized logistic heads predict operation probabilities from word and character features, are temperature-scaled on development data, and are greedily composed under route-cost and action-count budgets. On the held-out test, the learned policy achieves 100% success versus 93.5% for strong static and fixed workflows, with 43% lower cost than the static policy; a matched learned one-shot router reaches 56.5%. On the untouched challenge split, learned success falls to 75.9% and trails static routing at 93.5%, while remaining 49% cheaper and exceeding one-shot routing by 34.3 points. The gap identifies lexical generalization, rather than route execution, as the principal limitation. These results establish a reproducible testbed and a bounded proof of concept, not evidence of live-LLM performance.
- Abstract（参考訳）: エージェントシステムは、生成する答えだけでなく、どの推論と実行操作が先行するかを判断しなければならない。
コントローラは直接応答し、要求を分解し、証拠を回収し、コードを実行し、専門家に委譲し、中間結果を検証する。
既存のルーティング処理は、モデルエンドポイント、検索深度、あるいはツールを分離して選択する。
本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
ベンチマークには216のトレーニング、72の開発、108のホールドアウトテスト、108のロック付き語彙シフト課題タスク、データ分析、凍結コーパス研究、ドキュメント処理が含まれている。
アウトカムは、操作の実行後にマシンチェックされる。
独立正規化ロジスティックヘッドは、単語と文字の特徴から操作確率を予測し、開発データに基づいて温度スケールし、ルートコストとアクションカウントの予算で優しく構成する。
ホールドアウトテストでは、学習されたポリシーは、強い静的および固定されたワークフローに対して93.5%の成功を達成し、静的なポリシーよりも43%低いコストで、一致したワンショットルータは56.5%に達する。
未タッチのチャレンジスプリットでは、学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
このギャップは経路実行よりも語彙的一般化を主極限として識別する。
これらの結果は再現性テストベッドと有界な概念証明を確立しており、ライブLLM性能の証拠ではない。
関連論文リスト
- TRIAGE: Three-level Routing and Intelligent Agent Guidance for Efficient Execution [0.0]
TRIAGEは3段階のルーティングフレームワークで、過去の実行軌跡を再利用することでトークン消費を減らす。
その中心となるイノベーションはTjectory-as-a-Skillであり、過去の実行軌跡を再利用可能なスキルに抽象化する。
1,007のセキュリティ監視クエリに関する大規模な実験では、TRIAGEは62.3%のトークンセーブを達成した。
論文 参考訳（メタデータ） (2026-09-01T15:40:09Z) - ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
論文 参考訳（メタデータ） (2026-08-23T17:09:02Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing [0.0]
共有実行モデルの下でメタ決定ポリシーを比較するためのオープンで検査可能なフレームワークであるMetaRoute-Benchを提案する。
タスク対応のコンポジションポリシは79.4%が成功し、強いワークロード固有の静的ポリシでは76.7%が成功している。
静的ポリシーとは対照的に、これは2.7パーセントの改善であり、ペアの95%CIプラスまたはマイナス2.0ポイント、平均コストが4.7%、レイテンシが6.4%向上している。
論文 参考訳（メタデータ） (2026-07-31T07:01:21Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - LongSeeker: Elastic Context Orchestration for Long-Horizon Search Agents [63.75550089045995]
ロングホライズン検索エージェントは、理由として急速に成長する作業状況を管理し、ツールを呼び、情報を観察しなければならない。
エージェントの軌道の一部は、タスクに対する現在の関連性に応じて、異なるレベルで細部まで維持される。
我々は10kの合成軌道上にQwen3-30B-A3Bを微調整した長距離探索エージェントであるLongSeekerを開発した。
論文 参考訳（メタデータ） (2026-05-06T17:54:16Z) - Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies [29.138677906501865]
大規模なファイル依存を伴うワークスペース学習におけるAIエージェントの評価のためのベンチマークであるWorkspace-Benchを紹介する。
5つのワーカープロファイル、74のファイルタイプ、20,476のファイル(最大20GB)を持つ現実的なワークスペースを構築し、それぞれが7,399の合計ルーリックに対して評価された独自のファイル依存グラフを持つ388のタスクをキュレートする。
論文 参考訳（メタデータ） (2026-05-05T10:17:06Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Toward Generation of Test Cases from Task Descriptions via History-aware Planning [9.483085498004508]
自動Webテストでは、自然言語タスク記述からテストスクリプトを生成することがテスト生成プロセスの強化に不可欠である。
このアクティビティには、将来のテストアクティビティのためのテストスクリプトを形成するために、アクションの正しいシーケンスを作成することが含まれる。
HxAgentは、1)現在の内容と実行可能なアクションの観察、2)以前のWeb状態とアクションの短期記憶、3)正しいアクションシーケンスによる長期的な経験、に基づいて次のアクションを決定するための反復的大規模言語モデルエージェントプランニング手法である。
論文 参考訳（メタデータ） (2025-04-19T16:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。