論文の概要: Task- and Session-Level Model Routing: A Common-Interface Hybrid Evaluation of Four Open-Source Routers Across Four Benchmarks
- arxiv url: http://arxiv.org/abs/2608.14641v1
- Date: Tue, 28 Jul 2026 21:29:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.935172
- Title: Task- and Session-Level Model Routing: A Common-Interface Hybrid Evaluation of Four Open-Source Routers Across Four Benchmarks
- Title（参考訳）: タスクレベルとセッションレベルモデルルーティング:4つのベンチマークによる4つのオープンソースルータの共通インタフェースハイブリッド評価
- Abstract要約: RouterBench, BFCL v4, tau2-bench, WebArenaの4つのルータ実装を評価した。
290個の凍結タスクを2,610個の候補行列に対して評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic systems increasingly delegate model selection to a router, yet open-source routers are usually evaluated with different tasks, candidate pools, and execution protocols, limiting direct comparison. We present a common measurement protocol and hybrid evaluation of four router implementations across RouterBench, BFCL v4, tau2-bench, and WebArena. We evaluate 290 frozen tasks against a locked matrix of 2,610 candidate outcomes. Three routers emit constant or near-constant tier assignments; only vLLM Semantic Router varies materially with prompt content, and it has the highest observed success rate on none of the four benchmarks. Always-Mid matches Aurelio exactly on three benchmarks and within 0.003 on the fourth. For vLLM, task-level superiority tests detect no task-specific advantage over a share-matched content-blind allocation; equivalence is established only on WebArena at the protocol-declared five-percentage-point margin. The results show that, under these configurations and controls, observed gains track selected-tier composition more closely than demonstrated task-specific targeting. Fixed-tier baselines and selected-tier distributions are therefore necessary controls in router evaluation; the findings are scoped to these configurations, candidate pool, and frozen benchmark samples, not to routing paradigms in general.
- Abstract（参考訳）: エージェントシステムは、モデル選択をルータに委譲する傾向にあるが、オープンソースルータは通常、異なるタスク、候補プール、実行プロトコルで評価され、直接比較が制限される。
本稿では,ルータベンチ,BFCL v4,tau2-bench,WebArenaの4つのルータ実装の共通測定プロトコルとハイブリッド評価について述べる。
290個の凍結タスクを2,610個の候補行列に対して評価した。
VLLMセマンティックルータは、プロンプトの内容によって大きく異なり、4つのベンチマークのうち、最も成功率が高い。
Always-MidはAurelioを正確に3つのベンチマークで比較し、4位は0.003以内である。
vLLMの場合、タスクレベルの優越性テストは、共有マッチングされたコンテンツ-盲検割当よりもタスク固有の優位性を検出せず、プロトコル宣言された5パーセントのマージンでWebArena上でのみ等価性を確立する。
その結果、これらの構成と制御下では、観察されたゲインは、タスク固有のターゲティングよりも、より緊密に選択された階層構成をトラックすることがわかった。
したがって、ルータ評価において、固定層ベースラインと選択層分布は、一般にルーティングパラダイムではなく、これらの構成、候補プール、凍結ベンチマークサンプルにスコープされる。
関連論文リスト
- SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations [88.71160380389277]
マルチターン大言語モデルルーティングのための類似性抽出ウィンドウルータであるSWルータを提案する。
マルチターンダイアログベンチマークの実験では、SWが強いベースラインを一貫して超越していることが示されている。
この結果から,マルチターン大言語モデルのルーティングにはコンテキスト構築と評価の協調設計が必要であることが示唆された。
論文 参考訳（メタデータ） (2026-09-10T11:45:55Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks [26.364477396804194]
モデルルーティングは、クエリ毎に候補プールから最も適切なモデルを選択し、品質とコストのバランスをとることを目的としている。
既存のVLMルーティング研究は、従来のVQA評価に限られており、オープンセットシナリオに対する体系的な校正最適化が欠如している。
VLM-ExecBenchはコード、エージェント、検索ドメインをカバーする最初の実行指向のVLMルーティングベンチマークであり、(2)クエリとハイブリッドキャリブレーションによって構築されたモデル行動プロファイルとをマッチングするデュアルトワールータSCOPEであり、(3)CRM+RCCRはアーキテクチャに依存しないコスト認識の目的であり、継続的な妥当性にコストプライオリティをエンコードする。
論文 参考訳（メタデータ） (2026-08-12T14:49:28Z) - Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation [0.0]
ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
論文 参考訳（メタデータ） (2026-06-27T13:59:46Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - Query-aware Routing for Filtered Approximate Nearest Neighbors Search [2.121524887011041]
フィルタされたANN探索は、現代のベクトルデータベースと検索拡張生成におけるコアプリミティブである。
我々は3つの述語の下で複数のデータセットにまたがる主要な分類的ANN手法の全てをベンチマークする。
軽量MLモデルは、クエリ上で各候補メソッドのリコールを予測する。
我々のルータは,5つの検証データセットのすべてに対して,最先端のリコールとQPSバランスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-18T07:54:12Z) - EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。
実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。
EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
論文 参考訳（メタデータ） (2026-06-09T17:57:16Z) - Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection [70.73201284835498]
RGDは、ルータが生成されたクエリと回答のみに基づいてトレーニングされる、困難な設定である。
クエリ・アンサー・ルータ(クエリとラベルの両方を用いて)とクエリのみのルータを4つのベンチマークと12のモデルで評価する。
コンセンサス投票によってモデルの正しさを推定し,階層クラスタリングによるモデル固有のスキルニッチを識別する新しいクエリ専用ルータであるCASCALを提案する。
論文 参考訳（メタデータ） (2026-01-14T18:43:32Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。