論文の概要: Calibrate, Then Route: A Measured Study of Learned Request Routing for Disaggregated LLM Serving

• arxiv url: http://arxiv.org/abs/2609.16206v1
• Date: Mon, 14 Sep 2026 18:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.176626
• Title: Calibrate, Then Route: A Measured Study of Learned Request Routing for Disaggregated LLM Serving
• Title（参考訳）: Calibrate, then Route: A Measuremented Study of Learned Request Routing for Disaggregated LLM Serving
• Abstract要約: 本稿では,各インスタンスの完了時間について,正確なプロンプト長,予測出力長,入力後KVキャッシュ圧力,SLOクラスを用いて推定するルータについて検討する。 3つの混合されたバースト状の到達トレースの中で、ルータは0.864で最高出力を達成し、ラウンドロビンでは0.835から0.847、最小ロードでは0.847である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disaggregated LLM serving places compute heavy prefill and memory heavy decode on separate GPU pools. Systems such as DistServe, Splitwise, and Mooncake make this separation fast, but routing still determines which instances handle each request. We study a router that estimates the additional completion time on each instance using exact prompt length, predicted output length, post admission KV cache pressure, and SLO class. We develop the policy in a discrete event simulator and validate it on eight NVIDIA A40 GPUs, each running a vLLM engine, with NIXL transferring KV caches between pools. All workloads run at measured saturation. Across three mixed, bursty arrival traces, the calibrated router achieves the highest mean goodput at 0.864, compared with 0.835 to 0.847 for round robin, least loaded, and a length heuristic. It also shows the lowest variance across traces. It beats round robin and the length heuristic on all three traces and least loaded on two. On the third, it trails by 0.003, within run to run noise. Hardware calibration matters: simulator derived constants cost 4.5 goodput points and roughly 40 percent of the tail latency advantage, reducing the scorer to little more than queue counting. Benefits grow with decode pool size and traffic heterogeneity but disappear in pools with three instances, where queue counts are often enough. Under extreme scarcity, greedy cost minimization concentrates requests on the cheapest scored instance, and blind spreading performs better. With calibrated costs, the learned router matches the goodput of round robin using six GPUs instead of seven.
• Abstract（参考訳）: 分散LDMサービス場所は、別々のGPUプール上で重いプリフィルとメモリ重いデコードを計算する。 DistServe、Splitwise、Mooncakeなどのシステムはこの分離を高速に行うが、ルーティングは各リクエストを処理するインスタンスを決定する。 本稿では,各インスタンスの完了時間について,正確なプロンプト長,予測出力長,入力後KVキャッシュ圧力,SLOクラスを用いて推定するルータについて検討する。 我々はこのポリシーを離散イベントシミュレータで開発し、8つのNVIDIA A40 GPU上で検証し、それぞれがvLLMエンジンを実行し、NIXLがプール間でKVキャッシュを転送する。 すべてのワークロードは測定された飽和度で実行される。 3つの混合されたバースト状の到達トレースの中で、キャリブレーションされたルータは0.864で最高出力を達成し、ラウンドロビンでは0.835から0.847、最小ロードでは0.835から0.847、そして長さヒューリスティックである。 また、トレース間の最も低い分散も示している。 丸いロビンと長さのヒューリスティックを3つすべてのトレースで打ち負かし、最低でも2つにロードする。 3本目は0.003で走行中、騒音を発生させる。 ハードウェアのキャリブレーション:シミュレータの導出定数は4.5のグッドプットポイントとテール遅延の約40%のアドバンテージで、スコアラをキューのカウント以上に減らす。 ベネフィットはデコードプールのサイズとトラフィックの不均一性によって成長するが、3つのインスタンスを持つプールで消滅する。 極端に希少な状況下では、greedyコストの最小化は、最も安価なインスタンスにリクエストを集中させ、ブラインド拡散は改善する。 キャリブレーションされたコストで、学習したルータは7つではなく6つのGPUを使ってラウンドロビンの出力にマッチする。

関連論文リスト

• LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving [12.697860184583483]
  共バッチはスループットを向上するが、テナント単位の使用量やコントロール制限は曖昧になる。 本稿では、メモリバウンドおよび計算バウンドフェーズをキャプチャするルーフライン誘導遅延モデルであるLLMVisorを提案する。 トークンカウントベースラインと比較して、LLMVisorは、ほぼ完全なR-二乗を実現し、相対誤差を最大2.5倍まで削減する。
  論文  参考訳（メタデータ） (2026-08-09T00:28:05Z)
• Think Before You Grid-Search: Floor-First Triage for LLM Serving [0.0]
  LLMサービス最適化は通常、多くの設定をベンチマークし、遅延ターゲットが欠落しているときに重いプロファイラに到達する。 我々は逆の規律を主張する: 推定はプロファイリングの分析的な層である。
  論文  参考訳（メタデータ） (2026-07-07T06:11:54Z)
• GPUSparse: GPU-Accelerated Learned Sparse Retrieval with Parallel Inverted Indices [3.3723515662362265]
  本稿では,GPUを高速化した正確なスパース検索システムであるGPUSparseを提案する。 ブロック整列されたワープ対応のポストリストを持つGPU並列逆インデックスを使用する。 Batched scatter-add スコアリングアルゴリズムは数百のクエリを同時に処理する。
  論文  参考訳（メタデータ） (2026-06-24T23:07:57Z)
• AdpSplit: Error-Driven Adaptive Splitting for Faster Geometry Discovery in 3D Gaussian Splatting [61.977804325410695]
  本稿では、エラー駆動型適応分割演算子であるAdpSplitを紹介し、分割子数を決定し、L1-ピクセルエラー領域統計から子パラメータを初期化する。 MipNeRF360、Deep-Blending、Thans&Templesのデータセット全体で、AdpSplitは、複数の加速された3DGSパイプラインのトレーニング時間を9.2%から22.3%削減する。 FastGSでは、AdpSplitはMipNeRF360上の全スケジュールPSNRと一致し、トレーニング時間を16.4%削減し、バニラ3DGSの12.6倍加速に対応している。
  論文  参考訳（メタデータ） (2026-05-07T19:23:16Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• Token-Budget-Aware Pool Routing for Cost-Efficient LLM Inference [12.135271159221178]
  プロダクションvLLMフリートは、最悪の状況ですべてのインスタンスをプロビジョニングする。 プロダクションvLLMプールは2つのvLLMプールのうちの1つにそれをディスパッチする。 トークン予算ルーティングはGPUインスタンスを17～39%削減する。
  論文  参考訳（メタデータ） (2026-03-13T13:06:50Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity [52.88892280536302]
  SparseLoRAは,コンテキスト空間の空間的分散によって微調整を高速化する手法である。 SparseLoRAは計算コストを最大2.2倍、測定速度を最大1.6倍に削減する。
  論文  参考訳（メタデータ） (2025-06-19T17:53:34Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• Efficient Offline Policy Optimization with a Learned Model [83.64779942889916]
  MuZero Unpluggedはログデータからオフラインポリシー学習に有望なアプローチを提供する。 MCTS(Monte-Carlo Tree Search)を学習モデルで実行し、Reanalyzeアルゴリズムを利用してオフラインデータから純粋に学習する。 本稿では,オフライン設定下では MuZero Unplugged がうまく動作しないという仮説について検討する。
  論文  参考訳（メタデータ） (2022-10-12T07:41:04Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。