論文の概要: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers
- arxiv url: http://arxiv.org/abs/2608.06867v1
- Date: Fri, 07 Aug 2026 06:46:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.380928
- Title: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers
- Title(参考訳): LLMRouter: LLMルータの開発、評価、デプロイのための統一インフラストラクチャ
- Abstract要約: 単一の大きな言語モデル(LLM)は、すべてのクエリや予算制約に対して最適ではないため、モデルルーティングはコスト効率の良いデプロイメントに不可欠である。
5つの成分を特徴とする逐次決定過程としてLLMルーティングの統一的な定式化を提案する。
我々は、ルーティングの監視とルータの評価を、応答品質と推論コストに基づいて共同で行う自動パイプラインを開発した。
- 参考スコア(独自算出の注目度): 31.402829906814365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: No single large language model (LLM) is optimal across all queries and budget constraints, making model routing essential for cost-effective deployment. Existing routers adopt diverse formulations and implementations, making fair comparison and extension difficult. We present a unified formulation of LLM routing as a sequential decision process characterized by five components: context encoders, model encoders, scoring functions, decision rules, and learning signals, covering single-turn, multi-turn, and personalized routing. Based on this formulation, we develop an automated pipeline for constructing routing supervision and evaluating routers jointly on response quality and inference cost. The resulting benchmark, xRouteBench, spans generic LLM, memory-augmented, vision, time-series, and personalized routing tasks. We further introduce LLMRouter, an open-source modular infrastructure with more than 16 representative routers. Our empirical study shows that learned routers outperform the strongest fixed-model baseline by 14.6% relatively, lightweight routers become more competitive under tight cost constraints, and user-conditioned routing consistently improves personalization.
- Abstract(参考訳): 単一の大きな言語モデル(LLM)は、すべてのクエリや予算制約に対して最適ではないため、モデルルーティングはコスト効率の良いデプロイメントに不可欠である。
既存のルータは様々な定式化と実装を採用しており、公正な比較と拡張が困難である。
コンテクストエンコーダ,モデルエンコーダ,スコアリング関数,決定規則,学習信号,単一ターン,マルチターン,パーソナライズされたルーティングの5つのコンポーネントからなる逐次決定プロセスとして,LLMルーティングの統一的な定式化を提案する。
この定式化に基づいて、ルーティングの監視とルータの評価を応答品質と推論コストに基づいて共同で行う自動パイプラインを開発する。
結果として得られたベンチマークであるxRouteBenchは、ジェネリックLLM、メモリ拡張、ビジョン、時系列、パーソナライズされたルーティングタスクにまたがる。
さらに16以上の代表的なルータを備えたオープンソースのモジュラーインフラストラクチャであるLLMRouterを紹介します。
我々の実証研究は、学習ルータが最強の固定モデルベースラインを14.6%上回り、軽量ルータは厳しいコスト制約下で競争力を高め、ユーザ条件のルーティングは、常にパーソナライズを改善していることを示している。
関連論文リスト
- Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳(メタデータ) (2026-06-22T06:37:31Z) - Learning to Route LLMs from Implicit Cost-Performance Preferences via Meta-Learning [8.795547377156174]
大規模言語モデル(LLM)は、パフォーマンスとコストのトレードオフを示し、より強力なモデルによってコストが増大する。
既存の手法は、異なるユーザコストパフォーマンスの好みに対してうまく機能しない。
本稿では,パーソナライズおよびユーザ中心のコストパフォーマンス最適化のための新しいLLMルーティングパラダイムを提案する。
論文 参考訳(メタデータ) (2026-06-04T13:53:03Z) - The Routing Plateau: Understanding and Breaking the Accuracy Limits of LLM Routers [19.847272668359707]
LLMルーティングは、各クエリのモデルを動的に選択することで、LLMサービスのコスト品質トレードオフを改善するための一般的なアプローチである。
最近の研究では、クラスタリングベースのルータ、学習された分類器、ペアワイズランキング、信頼に基づくアプローチなど、幅広いルーティング方法が検討されている。
kNNを含む多くの手法は、非常によく似た精度を達成し、オラクルルータよりはるかに低い狭い性能範囲に収束する。
論文 参考訳(メタデータ) (2026-05-27T19:29:01Z) - Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。
AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。
5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-03-13T12:26:05Z) - DiSRouter: Distributed Self-Routing for LLM Selections [23.38983740640377]
集中制御から分散ルーティングへ移行する新しいパラダイムであるDiS(Distributed Self-)を紹介する。
DiS では、クエリは LLM エージェントのネットワークを横切り、それぞれが自身の自己認識に基づいて他のエージェントに答えるかどうかを独立に決定する。
大規模な実験により、DiSは様々なシナリオで既存のルーティング方法よりも優れていることが示された。
論文 参考訳(メタデータ) (2025-10-22T03:36:40Z) - xRouter: Training Cost-Aware LLMs Orchestration System via Reinforcement Learning [104.63494870852894]
我々は,学習したルータが直接応答するか,あるいは1つ以上の外部モデルを呼び出すことができるツールコールベースのルーティングシステム x を提案する。
当社の実装には、報酬とコスト会計を含む、完全な強化学習フレームワークが含まれています。
さまざまなベンチマークで、xはコストパフォーマンスのトレードオフを強く達成します。
論文 参考訳(メタデータ) (2025-10-09T16:52:01Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳(メタデータ) (2025-10-08T18:24:59Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳(メタデータ) (2025-08-06T21:59:34Z) - Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning [27.70756702796812]
マルチLLMルーティングとアグリゲーションを逐次決定プロセスとして定式化する強化学習フレームワークである textbf Generalization-R1 を提案する。
学習を容易にするために,形式報酬と最終結果報酬と,性能とコストのバランスを最適化するための新たなコスト報酬からなる軽量なルールベース報酬を用いる。
論文 参考訳(メタデータ) (2025-06-10T17:56:45Z) - Universal Model Routing for Efficient LLM Inference [69.86195589350264]
モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である
動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。
これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
論文 参考訳(メタデータ) (2025-02-12T20:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。