論文の概要: Stable Token-level Scheduling for Serverless LLM Inference

• arxiv url: http://arxiv.org/abs/2610.17689v1
• Date: Tue, 13 Oct 2026 04:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.503408
• Title: Stable Token-level Scheduling for Serverless LLM Inference
• Title（参考訳）: サーバレスLLM推論のための安定なトークンレベルスケジューリング
• Abstract要約: 大規模言語モデルの効率的なデプロイメントモデルとして、サーバレス推論が登場しています。 既存のアプローチは、主にトークンへの時間を最適化し、トークン間のレイテンシを見下ろしている。 バッチレベルではなくトークンレベルでの要求受け入れを規制するToken Window Pacing (TWP)を提案する。
• 参考スコア（独自算出の注目度）: 0.1784233255402269
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Serverless inference is emerging as an efficient deployment model for Large Language Models (LLMs) due to its ability to elastically scale resources, improve GPU utilization through resource sharing, and reduce infrastructure costs. However, existing approaches primarily optimize time to first token (TTFT) while overlooking inter-token latency (ITL), a key determinant of user experience during response generation. We observe that LLM inference comprises a computation-intensive prefill stage and a bandwidth-bound decode stage, where admitting new requests can disrupt ongoing decoding and increase latency. To address this, we propose Token Window Pacing (TWP), a closed-loop scheduling framework that leverages runtime feedback from ITL, queue depth, and workload characteristics to regulate request admission at the token level instead of the batch level. TWP dynamically adjusts a selfregulating token window and incorporates chunk-based prefill to minimize interference from incoming requests. Experiments on realistic serverless workloads show that TWP delivers stable TTFT, significantly reduces latency spikes, lowers P99 tail latency, minimizes ITL variation, and improves throughput by up to 45% over ServerlessLLM and 58% over conventional schedulers. These results demonstrate that feedback-driven tokenlevel scheduling enables stable, high-throughput serverless LLM inference without modifying the underlying model.
• Abstract（参考訳）: 大規模言語モデル(LLM)の効率的なデプロイメントモデルとして、リソースの弾性的なスケーリング、リソース共有によるGPU利用の改善、インフラストラクチャコストの削減により、サーバレス推論が登場している。 しかし、既存のアプローチは主に、応答生成時のユーザエクスペリエンスの重要な決定要因であるインタートークンレイテンシ(ITL)を見下ろしながら、TTFT(Time to First token)を最適化する。 LLM推論は計算集約型プリフィルステージと帯域幅限定型デコードステージから構成されており、新しい要求が進行中のデコーディングを妨害し、遅延を増大させる可能性がある。 そこで本研究では,TL,キュー深さ,ワークロード特性からのランタイムフィードバックを活用して,バッチレベルではなくトークンレベルの要求入力を規制するクローズドループスケジューリングフレームワークであるToken Window Pacing(TWP)を提案する。 TWPは、自己規制トークンウィンドウを動的に調整し、チャンクベースのプリフィルを組み込んで、受信要求からの干渉を最小限にする。 現実的なサーバレスワークロードの実験では、TWPは安定したTTFTを提供し、レイテンシのスパイクを大幅に低減し、P99テールレイテンシを低減し、IPLの変動を最小限にし、ServerlessLLMよりも最大45%、従来のスケジューラよりも58%のスループット向上を実現している。 これらの結果は、フィードバック駆動のトークンレベルスケジューリングにより、基礎となるモデルを変更することなく、安定かつ高スループットのサーバレスLLM推論が可能になることを実証している。

関連論文リスト

• End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
  大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。 本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。 本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
  論文  参考訳（メタデータ） (2026-09-15T13:50:54Z)
• Beyond Prediction: Tail-Aware Scheduling for LLM Inference [15.499732774491683]
  LLM提供は、極端に長さのばらつきを示し、実際はサイズベースのスケジューリングを困難にしている。 最近のスケジューラは予測デコード長やランクを用いてSJF/SRPTを近似する。 これらの予測駆動ポリシは、分散シフト、バースト到着、GPUメモリプレッシャの下で脆弱であることを示す。
  論文  参考訳（メタデータ） (2026-06-16T19:25:37Z)
• FairBatching: Fairness-Aware Batch Formation for LLM Inference [2.0917668141703207]
  この研究は、この不公平の根本原因を特定する:時-時-時-(TBT)の非単調性 本稿では,タスクの充足と復号のリソース割り当てを公平に行う新しいシステムであるFair the Prioritizingを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:43:56Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
  大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。 我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
  論文  参考訳（メタデータ） (2023-05-10T06:17:50Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。