論文の概要: Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2506.09033v1
- Date: Tue, 10 Jun 2025 17:56:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:43.062636
- Title: Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning
- Title（参考訳）: Router-R1: 強化学習による多方向ルーティングと集約を教えるLLM
- Authors: Haozhen Zhang, Tao Feng, Jiaxuan You,
- Abstract要約: マルチLLMルーティングとアグリゲーションを逐次決定プロセスとして定式化する強化学習フレームワークである textbf Generalization-R1 を提案する。
学習のガイドには,形式報酬,最終結果報酬,性能とコストトレードオフ最適化のための新たなコスト報酬を含む軽量なルールベース報酬を用いる。
- 参考スコア（独自算出の注目度）: 12.878608250420832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid emergence of diverse large language models (LLMs) has spurred the development of LLM routers that assign user queries to the most suitable model. However, existing LLM routers typically perform a single-round, one-to-one mapping (\textit{i.e.}, assigning each query to a single model in isolation), which limits their capability to tackle complex tasks that demand the complementary strengths of multiple LLMs. In this paper, we present \textbf{Router-R1}, a reinforcement learning (RL)-based framework that formulates multi-LLM routing and aggregation as a sequential decision process. Router-R1 instantiates the router itself as a capable LLM, leveraging its reasoning ability to interleave "think" actions (internal deliberation) with "route" actions (dynamic model invocation), and integrates each response into its evolving context. To guide learning, we employ a lightweight rule-based reward comprising format rewards, final outcome rewards, and a novel cost reward for performance and cost trade-off optimization, opening a pathway toward optimizing performance-cost tradeoffs via RL. Router-R1 also conditions only on simple model descriptors such as pricing, latency, and example performance, enabling strong generalization to unseen model selection. Experiments on seven general and multi-hop QA benchmarks show that Router-R1 outperforms over several strong baselines, achieving superior performance while maintaining robust generalization and cost management.Code is available at https://github.com/ulab-uiuc/Router-R1.
- Abstract（参考訳）: 多様な大規模言語モデル(LLM)の急速な台頭により、ユーザクエリを最も適切なモデルに割り当てるLLMルータの開発が加速した。
しかし、既存のLLMルータは通常、単一のラウンドで1対1のマッピング(\textit{i.e.})を行い、複数のLLMの補完的な強みを必要とする複雑なタスクに対処する能力を制限する。
本稿では,マルチLLMルーティングとアグリゲーションを逐次決定プロセスとして定式化する強化学習(RL)ベースのフレームワークであるtextbf{Router-R1}を提案する。
Router-R1はルータ自体を有能なLLMとしてインスタンス化し、その推論能力を利用して「思考」アクション(内部検討)と「ルート」アクション(動的モデル呼び出し)をインターリーブし、それぞれの応答を進化するコンテキストに統合する。
学習のガイドには,形式報酬,最終結果報酬,性能とコストのトレードオフ最適化のための新たなコスト報酬を含む軽量なルールベース報酬を採用し,RLによるパフォーマンスコストトレードオフの最適化への道を開く。
Router-R1はまた、価格、レイテンシ、サンプルパフォーマンスなどの単純なモデル記述子にのみ条件を課し、強力な一般化によってモデル選択が見つからないようにする。
7つの一般およびマルチホップQAベンチマークの実験では、ルータ-R1はいくつかの強力なベースラインよりも優れており、堅牢な一般化とコスト管理を維持しながら優れたパフォーマンスを実現している。
関連論文リスト
- RadialRouter: Structured Representation for Efficient and Robust Large Language Models Routing [31.446419903916425]
Radialは、大規模言語モデルのルーティングのための新しいフレームワークである。
RadialFormerという名前のラジアル構造を持つ軽量なTransformerベースのバックボーンを使用して、クエリとLLMの関係を明確にする。
バランシングとコストファーストのシナリオでは、既存のルーティングメソッドの9.2%と5.8%を大きく上回っている。
論文 参考訳（メタデータ） (2025-06-04T12:16:41Z) - IRT-Router: Effective and Interpretable Multi-LLM Routing via Item Response Theory [26.39979967537193]
大規模言語モデル (LLM) は、幅広い自然言語タスクにおいて例外的な性能を示した。
強力なモデルはより良い結果をもたらすが、より小さなモデルはよりコスト効率が良いが、能力は低い。
ユーザクエリを最適なLLMに効率的にルーティングするマルチLLMルーティングフレームワークであるIRT-Merciを提案する。
論文 参考訳（メタデータ） (2025-06-01T15:14:58Z) - Query Routing for Retrieval-Augmented Language Models [38.05904245087491]
Retrieval-Augmented Generation (RAG) は、知識集約タスクにおけるLarge Language Models (LLM) の性能を大幅に向上させる。
既存のルーティング手法はRAGシナリオで最適以下の性能を示すのに対し,外部文書はLLMのクエリ応答能力に動的に影響を及ぼす。
本稿では、文書埋め込みとRAG機能埋め込みを利用して知識表現シフトを捉えるパラメトリックなRAG対応ルーティング設計であるRAGを提案する。
論文 参考訳（メタデータ） (2025-05-29T03:44:56Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z) - Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers [3.090041654375235]
我々は、k-Nearest Neighbors (kNN) アプローチが、様々なタスクにまたがる最先端の学習ルータよりも優れていることを示す。
その結果, 埋め込み空間におけるモデル性能の局所性は, 単純な非パラメトリック手法によって強いルーティング決定を実現できることがわかった。
論文 参考訳（メタデータ） (2025-05-19T01:33:41Z) - How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。
DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
論文 参考訳（メタデータ） (2025-03-20T19:52:30Z) - RouterEval: A Comprehensive Benchmark for Routing LLMs to Explore Model-level Scaling Up in LLMs [45.93874913792025]
大規模言語モデル(LLM)のルーティングにおいて,新しいモデルレベルのスケールアップ現象を示す。
この改善は、プール内の最高のシングルモデルと多くの既存の強力なLCMのパフォーマンスを上回ります。
我々は、ルータ研究に適したベンチマークであるRuterEvalを紹介し、12のLLM評価に対して20,000,000以上のパフォーマンス記録を含む。
論文 参考訳（メタデータ） (2025-03-08T04:07:07Z) - Universal Model Routing for Efficient LLM Inference [72.65083061619752]
我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。
本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。
これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
論文 参考訳（メタデータ） (2025-02-12T20:30:28Z) - CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing [56.98081258047281]
Token-lEvel Routing(CITER)との協調推論は、小規模および大規模言語モデルの効率的な協調を可能にするフレームワークである。
ルータの学習をポリシー最適化として定式化し、予測の質と生成の推論コストの両方に基づいて報酬を受け取る。
実験の結果,CITERは高品質な生成を保ちながら推論コストを低減し,リアルタイムおよびリソース制約のあるアプリケーションに対して有望なソリューションを提供することがわかった。
論文 参考訳（メタデータ） (2025-02-04T03:36:44Z) - Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。
マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。
GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-10-09T17:59:14Z) - ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。
我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。
実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-02-29T18:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。