論文の概要: TokenRouter: Efficient Serving System for Token-Level LLM Routing

• arxiv url: http://arxiv.org/abs/2610.12242v1
• Date: Thu, 08 Oct 2026 16:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.160651
• Title: TokenRouter: Efficient Serving System for Token-Level LLM Routing
• Title（参考訳）: TokenRouter:Token-Level LLMルーティングのための効率的なサービングシステム
• Abstract要約: きめ細かいトークンレベルのルーティングは、かなりの効率と品質向上をもたらす可能性がある。 現在のシステムは、重度ステップの非同期化と頻繁なバッチ入力遅延に悩まされている。 トークンレベルの経路推論のための効率的で開発者フレンドリなサービスシステムであるTokenを設計する。
• 参考スコア（独自算出の注目度）: 5.883352797513813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) routing distributes inference work across different models, advancing the cost-quality Pareto frontier of LLM serving. While coarse-grained routing at the session or query level has been widely adopted in production systems, recent algorithmic work shows that fine-grained token-level routing can yield substantial efficiency and quality gains. However, efficiently serving token-level routed inference poses significant challenges to existing systems. Built on single-LLM assumptions, current systems suffer from severe step desynchronization and frequent batch admission delays under token-level routing, and they also impose high implementation complexity on developers. To address these challenges, we design TokenRouter, an efficient and developer-friendly serving system for token-level routed LLM inference. TokenRouter follows the principle of request-centric programming, model-centric execution: developers describe routing logic from the perspective of a single request, while the runtime launches a subserver for each LLM and dispatches requests asynchronously. Each subserver employs a delayed-batching scheduler, whose optimal hyperparameters are derived from a mathematical throughput model of the system. Across diverse routing algorithms, workloads, and model pairs, TokenRouter achieves 2.01-64.15x higher decoding throughput than existing systems, substantially advancing the serving efficiency of token-level LLM routing. Our code is available at https://github.com/thu-nics/TokenRouter.
• Abstract（参考訳）: 大規模言語モデル(LLM)ルーティングは、異なるモデルにまたがって推論作業を分散し、LLMサービスにおけるコスト品質のParetoフロンティアを前進させる。 セッションレベルの粗いルーティングやクエリレベルのルーティングはプロダクションシステムで広く採用されているが、最近のアルゴリズムによる研究は、きめ細かいトークンレベルのルーティングがかなりの効率と品質向上をもたらすことを示している。 しかし、トークンレベルのルーティング推論を効率的に行うことは、既存のシステムに重大な課題をもたらす。 単一LLMの仮定に基づいて構築された現在のシステムは、トークンレベルのルーティングの下で、厳格なステップの非同期と頻繁なバッチアクセプション遅延に悩まされており、開発者に対して高い実装の複雑さを課している。 これらの課題に対処するために、トークンレベルのルート付きLLM推論のための効率的で開発者フレンドリなサービスシステムであるTokenRouterを設計する。 TokenRouter氏は、リクエスト中心プログラミングの原則であるモデル中心実行に従う: 開発者は単一のリクエストの観点からルーティングロジックを記述し、ランタイムは各LLM用のサブサーバを起動し、非同期にリクエストをディスパッチする。 各サブサーバは遅延バッチスケジューラを使用し、最適なハイパーパラメータはシステムの数学的スループットモデルから導出される。 TokenRouterは様々なルーティングアルゴリズム、ワークロード、モデルペアにわたって、既存のシステムよりも2.01-64.15倍高いデコードスループットを実現し、トークンレベルのLLMルーティングの効率を大幅に向上させる。 私たちのコードはhttps://github.com/thu-nics/TokenRouter.comから入手可能です。

関連論文リスト

• Pro-Router: Token-Aware Progressive Model Routing with Adaptive Edge-Cloud Collaboration for Efficient Multimodal LLM Inference [5.997400745120167]
  本稿では,効率的なマルチモーダル推論のための適応型エッジクラウド協調型トークン対応プログレッシブモデルルーティング手法を提案する。 Pro-Theaterは2段階のプログレッシブ決定機構を採用している。第1に、トークン生成開始前に軽量プロプロンプトプレスコラモジュールが高速プレスクリーニングを行う。 第二に、トークン認識検証器は、小さなモデルが生成する各トークンのサンプリング確率分布を読み出し、モデルが自身の出力に対して自信を推定し、要求に応じて、答えが出荷されるか、エスカレートされるかを決定する。
  論文  参考訳（メタデータ） (2026-08-28T16:45:58Z)
• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• The Routing Plateau: Understanding and Breaking the Accuracy Limits of LLM Routers [19.847272668359707]
  LLMルーティングは、各クエリのモデルを動的に選択することで、LLMサービスのコスト品質トレードオフを改善するための一般的なアプローチである。 最近の研究では、クラスタリングベースのルータ、学習された分類器、ペアワイズランキング、信頼に基づくアプローチなど、幅広いルーティング方法が検討されている。 kNNを含む多くの手法は、非常によく似た精度を達成し、オラクルルータよりはるかに低い狭い性能範囲に収束する。
  論文  参考訳（メタデータ） (2026-05-27T19:29:01Z)
• Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios [51.44288759906005]
  大規模言語モデル(LLM)は、タスクやクエリにまたがるパフォーマンスと計算コストにかなりのばらつきを示す。 本稿では,タスクタイプ変数によるクエリ条件付きコストと性能をモデル化するタスクタイプ対応ルータTを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T14:46:20Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。