論文の概要: Deadline-Aware Adaptive Prefill Chunking for Efficient Large Language Model Serving
- arxiv url: http://arxiv.org/abs/2609.07883v1
- Date: Mon, 07 Sep 2026 18:47:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:16:43.35909
- Title: Deadline-Aware Adaptive Prefill Chunking for Efficient Large Language Model Serving
- Title（参考訳）: 大規模言語モデルの効率的な実行のためのデッドライン対応適応型プリフィルチャンキング
- Abstract要約: 継続はスループットを提供する大きな言語モデル(LLM)を改善するが、長いプロンプトプリフィルはデコードイテレーションを遅延させ、トークン間の遅延目標に違反する可能性がある。
SLOWeaveは,最初期のアクティブデコード期限前に終了すると予想される最大のプリフィルチャンクを選択するオンラインスケジューリング手法である。
私たちは、デコードのみのイテレーションが実現可能で、コストのイテレーションが正確であればいつでも、SLOWeaveは、すべてのアクティブリクエストの次の完了期限を保存する決定の即時準備の進捗を最大化します。
- 参考スコア（独自算出の注目度）: 11.307452536192125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous batching improves large language model (LLM) serving throughput, but long prompt prefills can delay decode iterations and violate inter-token latency objectives. Chunked prefill mitigates this interference, yet its chunk size is normally fixed: small chunks protect decode latency but repeatedly pay launch overhead, while large chunks improve prefill efficiency but create latency spikes. We introduce SLOWeave, an online scheduling method that selects the largest prefill chunk predicted to finish before the earliest active decode deadline. The decision requires no workload-specific chunk-size tuning and is computed by a logarithmic-time search over a monotone iteration-cost model. We prove that, whenever a decode-only iteration is feasible and the cost predictor is accurate, SLOWeave maximizes immediate prefill progress among decisions that preserve every active request's next-token deadline. We evaluate the method in a reproducible event-driven simulator and an iteration-level GPU runtime across chat, mixed-context, long-context, and bursty workloads. Under a 25ms time-per-output-token objective, SLOWeave improves goodput over the strongest fixed-chunk baseline by 39% on mixed requests and 38% on long-context requests. Under a stricter 10ms objective, the gains rise to 3.3$\times$ and 2.4$\times$, respectively. These results isolate adaptive chunk sizing as a useful serving primitive and provide an implementation-ready controller for integration with iteration-level LLM runtimes.
- Abstract（参考訳）: 継続的バッチ処理は、スループット向上のための大きな言語モデル(LLM)を改善するが、長いプロンプトプリフィルは、繰り返しの復号を遅らせたり、トン間レイテンシーの目的に反する可能性がある。
チャンクされたプリフィルは、この干渉を緩和するが、そのチャンクサイズは通常固定されている。小さなチャンクは、デコードレイテンシを保護しているが、繰り返し起動オーバーヘッドを支払う一方で、大きなチャンクはプリフィル効率を改善し、レイテンシースパイクを生成する。
SLOWeaveは,最初期のアクティブデコード期限前に終了すると予想される最大のプリフィルチャンクを選択するオンラインスケジューリング手法である。
この決定は、ワークロード固有のチャンクサイズチューニングを必要とせず、単調反復コストモデル上で対数時間探索によって計算される。
私たちは、デコードのみのイテレーションが実現可能で、コスト予測器が正確である場合、SLOWeaveは、すべてのアクティブリクエストの次の完了期限を保存する決定において、即時準備の進捗を最大化します。
再現可能なイベント駆動シミュレータと,チャット,混合コンテキスト,長期コンテキスト,バースト処理を含む反復レベルのGPUランタイムで評価を行った。
SLOWeaveは25msのタイム・パー・アウトプット(out-out-output-token)目標の下で、最強の固定チャンクベースラインに対する出力を、混合リクエストで39%、長文リクエストで38%改善する。
より厳格な 10ms の目標の下では、それぞれ 3.3$\times$ と 2.4$\times$ に上昇する。
これらの結果は、適応的なチャンクサイズを有用な機能プリミティブとして分離し、反復レベルのLCMランタイムとの統合のための実装対応コントローラを提供する。
関連論文リスト
- $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving [13.856291757420012]
長期にわたる要求はリソースを独占し、より高いプライオリティの要求を遅らせ、TTFT(Time-to-first-token)サービスレベルの違反を広範囲に発生させる。
本稿では,TTFTに最適化されたサービスシステムであるFlowPrefillを提案する。
FlowPrefillは最先端システムと比較して最大出力を最大5.6$times$に改善することを示す。
論文 参考訳（メタデータ） (2026-02-18T16:57:45Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳（メタデータ） (2025-09-29T15:52:08Z) - Adaptively Robust LLM Inference Optimization under Prediction Uncertainty [9.541681114575812]
本稿では,Large Language Model (LLM) 推論スケジューリングを最適化し,全遅延を最小化する問題について検討する。
LLM推論の鍵となる課題は、実行時の長さが分かる一方で、メモリ使用量や処理時間に重大な影響を及ぼす出力長が不明であることである。
本稿では,各要求に対して間隔分類(min-max range)を提供すると仮定して,機械学習を利用して出力長を予測するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-20T08:55:26Z) - OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。
プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。
我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
論文 参考訳（メタデータ） (2025-08-11T20:07:34Z) - LLM Serving Optimization with Variable Prefill and Decode Lengths [6.937936394246354]
本研究では,各要求が不均一なプレフィルとデコード長を持つLLM要求(Large Language Model)を提供する問題について検討する。
この問題は、配置制約の相互運用、優先関係、メモリ使用量の線形増加などによりNPハードであることが示される。
本稿では,時間とともに効率よくバッチを生成する新しい選択基準に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-08T08:54:21Z) - $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
$textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。
我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
論文 参考訳（メタデータ） (2025-06-15T05:50:05Z) - Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。
textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。
SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
論文 参考訳（メタデータ） (2025-05-22T14:11:34Z) - Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。
推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。
また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-14T18:54:19Z) - Medha: Efficiently Serving Multi-Million Context Length LLM Inference Requests Without Approximations [8.725115559974999]
長期コンテキスト推論のための既存の作業は、主に長期コンテキストトレーニングのテクニックに基づいていることを示す。
これにより、非効率なリソース利用、サーバの断片化、ヘッド・オブ・ライン(HOL)ブロッキングにつながる。
我々は、効率的な長文推論のためのエンドツーエンドシステムであるMedhaを提案する。
論文 参考訳（メタデータ） (2024-09-25T18:21:05Z) - MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention [36.49445805074941]
Minference (Milliontokens Inference) は長周期処理の前処理を高速化するスパース計算法である。
我々は,MInferenceが精度を維持しつつ,A100にプリフィルする際の推論遅延を最大10倍に効果的に低減できることを実証した。
論文 参考訳（メタデータ） (2024-07-02T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。