論文の概要: RLCascadeRouter: Quality-Estimator-Free Cascade Routing via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.15817v1
- Date: Sun, 16 Aug 2026 15:47:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.433305
- Title: RLCascadeRouter: Quality-Estimator-Free Cascade Routing via Reinforcement Learning
- Title（参考訳）: RLCascadeRouter:強化学習による品質評価自由カスケードルーティング
- Abstract要約: 本稿では,カスケードルーティングをマルコフ決定プロセスとして定式化する品質推定自由フレームワークを提案する。
トラジェクティブリターンとアドバンテージを使用して、パフォーマンスコストの目標を直接最適化する。
- 参考スコア（独自算出の注目度）: 6.614808404204836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing ecosystem of large language models (LLMs) offers huge potential to optimize performance-cost trade-offs. However, their heterogeneous capabilities and inference costs make efficiently routing queries a significant challenge. Existing paradigms are inflexible: one-shot routers commit before observing responses, whereas conventional cascades stop adaptively but follow a fixed model order. Cascade routing removes both restrictions by reconsidering whether to stop or invoke another model after each response. Current methods use a predict-then-optimize pipeline estimating response quality and future model utility. However, prediction loss for quality or utility is not equivalent to routing-decision loss. A lower prediction error does not necessarily yield a better action; a small boundary-crossing error can reverse a ``stop'' or model-selection decision. Therefore, we propose RLCascadeRouter, a quality-estimator-free framework that formulates cascade routing as a Markov decision process with actions comprising ``stop'' and model selection. It uses trajectory returns and advantages to directly optimize the performance-cost objective. Its Cascade Policy Network models candidate complementarity for model selection and remaining-action value for stopping, eliminating independent post-hoc response-quality estimators. Evaluated across ten LLMRouterBench benchmarks with thirteen LLMs, RLCascadeRouter outperforms strong baselines and achieves superior performance-cost trade-offs. It incorporates unseen models without retraining, and ablation studies validate both policy components.
- Abstract（参考訳）: 大きな言語モデル(LLM)のエコシステムは、パフォーマンスコストのトレードオフを最適化する大きな可能性を秘めています。
しかし、その不均一な機能と推論コストは、クエリを効率的にルーティングする上で大きな課題となる。
1ショットルータは応答を観察する前にコミットするが、従来のカスケードは適応的に停止するが、固定されたモデル順序に従う。
カスケードルーティングは、応答毎に他のモデルを止めるか呼び出すかを再考することで、両方の制限を取り除く。
現在の手法では、応答品質と将来のモデルユーティリティを推定する予測列最適化パイプラインを使用している。
しかし、品質やユーティリティの予測損失は、ルーティング決定損失と同等ではない。
低い予測エラーは必ずしもより良いアクションをもたらすとは限らない。小さな境界交差エラーは ``stop'' やモデル選択の決定を逆転することができる。
そこで我々は,カスケードルーティングを<stop'とモデル選択を含むアクションでマルコフ決定プロセスとして定式化する,品質推定自由なフレームワークであるRCCascadeRouterを提案する。
トラジェクティブリターンとアドバンテージを使用して、パフォーマンスコストの目標を直接最適化する。
カスケード・ポリシー・ネットワークは、モデル選択と停止のための残作用値の相補性をモデルとし、独立したポストホック応答品質推定器を排除している。
LLMRouterBenchベンチマークを13 LLMで評価し、RLCascadeRouterは強力なベースラインを上回り、優れたパフォーマンスとコストのトレードオフを実現する。
再トレーニングなしでは見つからないモデルが組み込まれており、アブレーション研究は両方の政策要素を検証している。
関連論文リスト
- Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳（メタデータ） (2026-06-29T12:30:24Z) - RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した
大規模に展開するのは 違法に高価です
モデル内ルータである textbfRouteLMT を提案する。
論文 参考訳（メタデータ） (2026-04-24T13:02:45Z) - ConsRoute:Consistency-Aware Adaptive Query Routing for Cloud-Edge-Device Large Language Models [7.869130026927]
ConsRouteは、大規模言語モデルのための軽量でセマンティックな、適応的なルーティングフレームワークである。
ConsRouteは、エンドツーエンドのレイテンシと推論コストを40%近く削減しながら、ほぼクラウドのパフォーマンス(=95%)を達成することを示す。
論文 参考訳（メタデータ） (2026-03-22T13:54:12Z) - Models Under SCOPE: Scalable and Controllable Routing via Pre-hoc Reasoning [28.165465162107253]
コストと性能を予測してモデル選択を超えるルーティングフレームワークであるSCOPEを提案する。
SCOPEは、モデル名の固定に依存するのではなく、モデルがどのように同様の問題に対処するかを検索することで、推論に基づく予測を行う。
性能が優先される場合の精度を最大25.7%向上させるか、効率が重要な場合のコストを最大95.1%削減することができる。
論文 参考訳（メタデータ） (2026-01-29T21:09:36Z) - RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。
軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。
既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
論文 参考訳（メタデータ） (2026-01-26T04:22:22Z) - Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。
しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。
提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
論文 参考訳（メタデータ） (2025-12-04T17:50:53Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳（メタデータ） (2025-10-08T18:24:59Z) - LLM Routing with Dueling Feedback [49.67815163970033]
ユーザの満足度,モデルの専門性,推論コストのバランスを保ちながら,クエリ毎に最適なモデルを選択するという課題について検討する。
絶対的なスコアではなく、ペアの選好フィードバックから学習することで、ルーティングをコンテキストデュエルの帯域として定式化する。
分類的重み付けを用いた対照的な微調整を用いて,オフラインデータからモデル埋め込みを導出する表現学習手法であるカテゴリーキャリブレーション・ファインタニング(CCFT)を導入する。
論文 参考訳（メタデータ） (2025-10-01T12:52:25Z) - Causal LLM Routing: End-to-End Regret Minimization from Observational Data [3.3580884064577616]
LLMルーティングは、クエリ毎に最も適切なモデルを選択することを目的としている。
従来のアプローチでは、メトリクスを最初に予測し、モデルがこれらの見積に基づいて選択される、分離された戦略が一般的だった。
観測データから意思決定の後悔を最小化してルーティングポリシーを学習する因果的エンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-21T21:34:18Z) - Contextual Linear Optimization with Partial Feedback [35.38485630117593]
本研究では,異なるタイプのフィードバックを持つ文脈線形最適化(CLO)のためのオフライン学習アルゴリズムのクラスを提案する。
我々は,IERMに対して,不特定モデルクラスとフレキシブルな推定方法の選択を可能にする,新しい高速遅延境界を提供する。
論文 参考訳（メタデータ） (2024-05-26T13:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。