論文の概要: VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
- arxiv url: http://arxiv.org/abs/2611.18392v1
- Date: Fri, 13 Nov 2026 16:34:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:27:11.58132
- Title: VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
- Title(参考訳): VelServe: テール校正スケジューリングによるLLM推論におけるデコードジッタの処理
- Abstract要約: 対話型サービスは、ファーストトークン(T)とトークン間時間(TBT)のレイテンシサービスレベル目標(SLO)を満たす必要があります。
集約サービスと非集約サービスの両方においてデコードジッタを識別する。
sysnameはスケジューラで、各デコードステップがどれだけのプレフィル作業を行うかを、自身のレイテンシの測定テールを使用してキャリブレーションする。
- 参考スコア(独自算出の注目度): 1.8098307361794799
- License:
- Abstract: Interactive LLM services must meet latency service-level objectives (SLOs) for the time to first token (TTFT) and the time between tokens (TBT), as streaming and soft real-time applications require predictable token delivery. We identify decode jitters in both aggregated and disaggregated serving. A jitter delays every request in the batch, and long responses span hundreds of steps, so even rare overruns cause many SLO violations. In aggregated serving, SLO-aware schedulers set each step's prefill budget until its predicted latency just meets the TBT target, leaving no room for mispredictions or host stalls. Disaggregation meets average TBT targets at a cost in capacity, yet the steps that admit new requests still run late. We present \sysname, a scheduler that calibrates how much prefill work each decode step carries using the measured tail of its own iteration latency. The SLO determines how rare a late step must be, and \sysname leaves enough headroom in each iteration to prevent overruns and meet the target decode latency. This headroom slows prefill, so \sysname serves the shortest waiting prompt first. When TTFT deadlines grow with prompt length, the long prompts it delays have the most time to spare. Under disaggregation, it spaces admissions so that no request waits on more slow admission steps than its P99 target allows. On three attention families and varying workloads, \sysname sustains 2.4--2.9$\times$ the SLO goodput of the strongest baseline on Qwen3-8B and DeepSeek-V4-Flash, and at least 4.4$\times$ on DeepSeek-V2-Lite. With prefill and decode disaggregated on eight GPUs, \sysname meets the SLO for more than twice as many requests as state-of-the-art baselines.
- Abstract(参考訳): ストリーミングおよびソフトリアルタイムアプリケーションは、予測可能なトークン配信を必要とするため、対話型LLMサービスは、ファーストトークン(TTFT)とトークン間時間(TBT)のレイテンシサービスレベル目標(SLO)を満たす必要がある。
集約サービスと非集約サービスの両方においてデコードジッタを識別する。
ジッタはバッチ内のすべてのリクエストを遅延させ、長いレスポンスは数百のステップにまたがるため、稀なオーバーランでさえ多くのSLO違反を引き起こす。
集約サービスでは、SLO対応スケジューラが各ステップのプリフィル予算を設定し、予測レイテンシがTBTターゲットに合致するまでに、誤った予測やホストストールのスペースを残さない。
デアグリゲーションは、平均的なTBTターゲットをキャパシティのコストで満たすが、新しい要求を承認するステップは、まだ遅れている。
このスケジューラは、各デコードステップでどれだけのプレフィル作業を行うかを、自分自身のイテレーションレイテンシの測定テールを使ってキャリブレーションします。
SLOは、遅延ステップがどれだけ稀であるかを判断し、‘sysname’は各イテレーションに十分なヘッドルームを残して、オーバーランを防止し、ターゲットのデコード遅延を満足させる。
このヘッドルームはプリフィルを遅くするため、‘sysname’は最初に最も短い待ちプロンプトを提供する。
TTFTの期限が即時で増加すると、その遅延が長くなるほど、最も時間がかかります。
不合理化の下では、P99ターゲットが許すよりも遅い入場手順を待つ要求がないように、入場口を空けている。
3つのアテンションファミリとさまざまなワークロードに対して、Shasysnameは、Qwen3-8BとDeepSeek-V4-Flashにおける最強ベースラインのSLO出力に対して2.4--2.9$\times$、DeepSeek-V2-Liteでは少なくとも4.4$\times$を維持できる。
プリフィルとデコードは8つのGPUで分解され、‘sysname’は最先端のベースラインの2倍以上のリクエストでSLOと出会う。
関連論文リスト
- Stable Token-level Scheduling for Serverless LLM Inference [0.1784233255402269]
大規模言語モデルの効率的なデプロイメントモデルとして、サーバレス推論が登場しています。
既存のアプローチは、主にトークンへの時間を最適化し、トークン間のレイテンシを見下ろしている。
バッチレベルではなくトークンレベルでの要求受け入れを規制するToken Window Pacing (TWP)を提案する。
論文 参考訳(メタデータ) (2026-10-13T04:10:48Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳(メタデータ) (2026-10-06T16:35:28Z) - PLA-Serve: A Prefill-Length-Aware LLM Serving System [33.313531352453346]
PLA-Serveは、TTFTレイテンシを低減するために、異なるプロンプト長でリクエストを特定し、分解する。
提案手法は,適応型スケジューリング戦略のモチベーションとして,応答長の変動がボトルネックを生じさせることを観察する。
PLA-Serveは、プリフィル*-Lang*デコードデアグリゲーションの下でのバニラSGと比較して、プリフィル遅延を30%以上削減する。
論文 参考訳(メタデータ) (2026-01-04T18:14:24Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳(メタデータ) (2025-09-29T15:52:08Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳(メタデータ) (2025-08-27T15:40:25Z) - PolyServe: Efficient Multi-SLO Serving at Scale [6.147741784378271]
PolyServeは、スループットを最大化しながら高いSLO達成を維持できる、新しいマルチSLOスケジューリングポリシーである。
PolyServeは既存の政策と比べて1.23倍の利得を達成し、最適な利得の92.5%を達成している。
論文 参考訳(メタデータ) (2025-07-17T05:54:42Z) - Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency [4.372762934308627]
本稿では,LAPS-SD(Least-Attained/Perceived-Service for Speculative Decoding)と呼ばれる半クレアボイト要求スケジューリングアルゴリズムを提案する。
LAPS-SDは、デコーディング中に、要求を特徴に応じて適応的にスケジューリングすることで、平均推論遅延を効果的に最小化することができる。
LAPS-SDは、最先端のスケジューリング手法と比較して、推論遅延を約39%削減する。
論文 参考訳(メタデータ) (2025-05-20T04:12:37Z) - Priority-Aware Preemptive Scheduling for Mixed-Priority Workloads in MoE Inference [4.7730970530715835]
大規模言語モデルは自然言語処理に革命をもたらしたが、データセンターで効率的に処理するのは難しい。
我々は、Mixture of Experts(MoE)モデル用に設計された新しい推論システムQLLMを紹介する。
QLLMはエキスパートレベルのプリエンプションを可能にし、LS Time-to-First-Token(TTFT)を最小化しながらBEジョブの実行を遅延させる。
論文 参考訳(メタデータ) (2025-03-12T11:56:01Z) - ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。
我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
論文 参考訳(メタデータ) (2024-10-02T04:12:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。