論文の概要: SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks
- arxiv url: http://arxiv.org/abs/2608.12127v2
- Date: Wed, 19 Aug 2026 10:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 15:48:19.519678
- Title: SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks
- Title（参考訳）: SCOPE-Router:実行指向タスクのためのコスト対応オープンセットVLMルーティング
- Abstract要約: モデルルーティングは、クエリ毎に候補プールから最も適切なモデルを選択し、品質とコストのバランスをとることを目的としている。
既存のVLMルーティング研究は、従来のVQA評価に限られており、オープンセットシナリオに対する体系的な校正最適化が欠如している。
VLM-ExecBenchはコード、エージェント、検索ドメインをカバーする最初の実行指向のVLMルーティングベンチマークであり、(2)クエリとハイブリッドキャリブレーションによって構築されたモデル行動プロファイルとをマッチングするデュアルトワールータSCOPEであり、(3)CRM+RCCRはアーキテクチャに依存しないコスト認識の目的であり、継続的な妥当性にコストプライオリティをエンコードする。
- 参考スコア（独自算出の注目度）: 26.364477396804194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model routing aims to select the most suitable model from a candidate pool for each query, balancing quality and cost. Existing VLM routing research is limited to traditional VQA evaluation, lacks systematic calibration optimization for open-set scenarios, and employs training objectives that dilute multi-positive signals via softmax normalization without incorporating cost. We address these limitations with three contributions: (1)VLM-ExecRouterBench, the first execution-oriented VLM routing benchmark covering Code, Agentic, and Search domains with 11 candidate models spanning nearly two orders of magnitude in pricing; (2)SCOPE-Router, a dual-tower router that matches queries to model behavior profiles constructed via hybrid calibration (random/diagnostic/diversity sampling), enabling new models to join routing without retraining; (3)CRM+RCCR, an architecture-agnostic cost-aware objective that encodes cost preference into continuous relevance targets through per-pair independent scoring, eliminating multi-positive dilution while regularizing queries with similar routing preferences to be closer in the routing space. Empirically, SCOPE-Router achieves the best Rank Score on all three benchmarks, surpassing the runner-up by 1.84 points under OOD settings and by 6.75 points under doubly OOD open-set evaluation. When applied to four diverse routers, CRM+RCCR improves Rank Score by 1.25--6.21 points.
- Abstract（参考訳）: モデルルーティングは、クエリ毎に候補プールから最も適切なモデルを選択し、品質とコストのバランスをとることを目的としている。
既存のVLMルーティング研究は、従来のVQA評価に限られており、オープンセットシナリオのシステマティックキャリブレーション最適化が欠如している。
VLM-ExecRouterBenchは、コード、エージェント、検索ドメインをカバーする最初の実行指向のVLMルーティングベンチマークで、価格の約2桁にまたがる11の候補モデルである。(2)SCOPE-Routerは、ハイブリッドキャリブレーション(ランダム/診断/多様性サンプリング)によって構築されたモデル行動プロファイルにクエリをマッチングするデュアルトウルータで、リトレーニングなしでルーティングに参加できるようにする。
SCOPE-RouterはOOD設定で1.84点、OODオープンセットで6.75点を上回り、3つのベンチマークで最高ランクスコアを獲得している。
4つの多様なルータに適用すると、CRM+RCCRはランクスコアを1.25～6.21ポイント改善する。
関連論文リスト
- Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation [0.0]
ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
論文 参考訳（メタデータ） (2026-06-27T13:59:46Z) - EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。
実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。
EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
論文 参考訳（メタデータ） (2026-06-09T17:57:16Z) - Rubric-Guided Process Reward for Stepwise Model Routing [18.58577344135632]
ステップワイズモデルルーティングは、各推論ステップを適切なモデルに割り当てることで、Large Reasoning Models(LRM)の効率を改善する。
最近の方法では、順序決定プロセスとしてルーティングを定式化し、強化学習でルータを訓練する。
ステップワイズモデルルーティングのためのルーリック誘導プロセス報酬フレームワークであるRoRoを提案する。
論文 参考訳（メタデータ） (2026-05-28T03:42:24Z) - Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection [57.3886742625188]
Pre-Routeは、応答前に構造化推論を実行するプロアクティブなルーティングフレームワークである。
本研究は, (i) LLMは, ガイドラインを確実に適用可能な遅延ルーティング能力を有すること, (ii) 線形プローブにより, 表現空間における最適ルーティングの分離性を高めること, (iii) 蒸留により, この推論構造を, 軽量展開のためのより小さなモデルに伝達すること,の3つの重要な知見を示す。
論文 参考訳（メタデータ） (2026-05-11T09:10:55Z) - Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts [0.07812854697536452]
6つのベンチマークで206,000のクエリモデルペアを持つマルチ層LSMルーティングについて大規模に検討する。
報告された未解決性のかなりの部分は, 評価成果物に起因していることが示されている。
論文 参考訳（メタデータ） (2026-05-08T07:49:24Z) - Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。
AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。
5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-03-13T12:26:05Z) - VL-RouterBench: A Benchmark for Vision-Language Model Routing [38.88730943495439]
マルチモデルルーティングは、エンジニアリング技術から重要なインフラへと進化してきた。
既存の作業には、視覚言語モデルを評価するための、体系的で再現可能なベンチマークが欠けている。
本稿では,VLMルーティングシステムの全体的な性能を体系的に評価するために,VL-Benchを提案する。
論文 参考訳（メタデータ） (2025-12-29T16:01:19Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳（メタデータ） (2025-09-30T22:19:44Z) - One Head, Many Models: Cross-Attention Routing for Cost-Aware LLM Selection [3.872690949369412]
計算コストと性能プロファイルの異なる大規模言語モデル(LLM)は、現実世界のアプリケーションにスケーラブルでコスト効率の良いデプロイを実現する上で重要な課題である。
我々は、単一ヘッドのクロスアテンション機構を利用して、クエリとモデル埋め込みを協調的にモデル化する統一的なルーティングフレームワークを導入する。
我々のルータは、きめ細かいクエリモデル相互作用を明示的に把握することにより、応答品質と生成コストの両方を予測し、平均品質改善(AIQ)を6.6%改善し、既存のルータよりも最大性能を2.9%向上させる。
論文 参考訳（メタデータ） (2025-09-11T18:29:09Z) - Efficient Training-Free Online Routing for High-Volume Multi-LLM Serving [10.746325451673274]
LLMルーティングは、モデルとクエリ機能に基づいて、クエリを最適LLMに誘導することで、コスト効率のよいソリューションを提供する。
既存の作業は主にオフラインシナリオに重点を置いており、オンライン設定への適応に苦慮している。
オンラインルーティングシナリオのためのトレーニング不要な最初のアルゴリズムを紹介する。
論文 参考訳（メタデータ） (2025-09-02T18:15:03Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。