論文の概要: Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits
- arxiv url: http://arxiv.org/abs/2609.38386v1
- Date: Tue, 29 Sep 2026 18:44:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.597858
- Title: Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits
- Title（参考訳）: Decode-Latency Feedback Prefill: モデルフリーコントローラとその一般化限界
- Abstract要約: Decode-Latency Feedback Prefill (DLFP)を導入する。
我々は、DLFPをvLLMに実装し、オープンループのPoisson到着、正確なトークン会計、生要求トレース、NVIDIAテレメトリで評価する。
- 参考スコア（独自算出の注目度）: 1.7396274240172123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concurrent autoregressive inference creates a fundamental interference problem: prefilling a newly arrived long prompt can delay tokens for requests that are already decoding. Fixed prefill chunks reduce this interference, but the best chunk size depends on the model, hardware, load, and latency objective. We introduce Decode-Latency Feedback Prefill (DLFP), a model-free controller that changes only prefill work that overlaps active decodes. After a guarded scheduling cycle, DLFP uses the observed interval as proportional feedback to resize the next prefill chunk; isolated prefills remain unrestricted. We implement DLFP in vLLM and evaluate it with open-loop Poisson arrivals, exact token accounting, raw request traces, and NVIDIA telemetry. On Qwen3-0.6B in BF16 on one A100 80 GB GPU, three paired 100-request trials reduce P99 inter-token latency by 24.8%, 30.1%, and 28.2% (mean 27.7%, paired 95% confidence interval 21.0% to 34.3%) with exact output agreement, no failures, and unchanged SLO compliance. The benefit is not free: mean P99 time to first token increases 34.8% while remaining inside the declared SLO. Crucially, the mechanism does not generalize to Qwen3-8B, Qwen3-32B, or a two-GPU tensor-parallel configuration. We trace the failure to an asynchronous scheduler-call interval that is only a proxy for completed GPU iteration time. This negative result defines the boundary of the contribution and motivates a completion-timed controller for concurrent CPU and on-device inference. We do not claim mobile-device performance; the present work is a reproducible proof-of-concept and generalization study.
- Abstract（参考訳）: 新しく到着した長いプロンプトをプリフィルすることで、すでにデコードされている要求に対してトークンを遅延させることができる。
固定されたプリフィルチャンクは、この干渉を減らすが、最高のチャンクサイズは、モデル、ハードウェア、ロード、レイテンシーの目標に依存する。
Decode-Latency Feedback Prefill (DLFP)を導入する。
ガードされたスケジューリングサイクルの後、DLFPは観測間隔を比例フィードバックとして次のプリフィルチャンクをリサイズする。
我々は、DLFPをvLLMに実装し、オープンループのPoisson到着、正確なトークン会計、生要求トレース、NVIDIAテレメトリで評価する。
1つのA100 80 GB GPU上のBF16のQwen3-0.6Bでは、3組の100-requestトライアルによりP99間のレイテンシが24.8%、30.1%、28.2%(平均27.7%、ペアの95%信頼区間は21.0%から34.3%)減少し、正確な出力契約、失敗なし、SLO準拠は変更されていない。
P99のトークンからトークンまでの時間は34.8%増加し、宣言されたSLO内に留まる。
重要なことに、このメカニズムはQwen3-8B、Qwen3-32B、または2GPUテンソル並列構成に一般化しない。
我々は、非同期スケジューラ呼び出し間隔に障害をトレースし、これはGPUイテレーションの完了時間のプロキシに過ぎません。
この負の結果はコントリビューションの境界を定義し、同時CPUとオンデバイス推論のための完了時コントローラを動機付けます。
我々はモバイルデバイスの性能を主張せず、本研究は再現可能な概念実証と一般化研究である。
関連論文リスト
- LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。
LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。
FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
論文 参考訳（メタデータ） (2026-09-29T17:59:34Z) - DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification [23.045325370450257]
ブロック拡散投機的復号法は、検証パディング、拒否された候補、可変接頭辞と固定形グラフの不整合に悩まされる。
私たちはDScaleを紹介し、ドラフトアアーキテクチャ、ウェイト、および完全なドラフトの長さを保存します。
論文 参考訳（メタデータ） (2026-09-29T13:17:43Z) - Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving [1.249668212599889]
NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。
エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
論文 参考訳（メタデータ） (2026-09-10T06:23:37Z) - Deadline-Aware Adaptive Prefill Chunking for Efficient Large Language Model Serving [11.307452536192125]
継続はスループットを提供する大きな言語モデル(LLM)を改善するが、長いプロンプトプリフィルはデコードイテレーションを遅延させ、トークン間の遅延目標に違反する可能性がある。
SLOWeaveは,最初期のアクティブデコード期限前に終了すると予想される最大のプリフィルチャンクを選択するオンラインスケジューリング手法である。
私たちは、デコードのみのイテレーションが実現可能で、コストのイテレーションが正確であればいつでも、SLOWeaveは、すべてのアクティブリクエストの次の完了期限を保存する決定の即時準備の進捗を最大化します。
論文 参考訳（メタデータ） (2026-09-07T18:47:57Z) - Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware [1.7286026533711227]
マスク付き拡散言語モデル(dLLM)は、多くのトークンを一度に識別するため、自動回帰(AR)モデルよりも高速にテキストを生成することができる。
最近のシステムでは、dLLMのサービスインフラストラクチャの構築が始まっているが、これらのモデルが実際の並行サービスの下でどのように振る舞うかを最初に測定することはない。
LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU。
論文 参考訳（メタデータ） (2026-08-24T20:16:48Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference [6.978795233982147]
SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。
SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
論文 参考訳（メタデータ） (2026-07-03T13:51:32Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。
しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。
本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
論文 参考訳（メタデータ） (2025-08-21T15:25:40Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。