論文の概要: Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware
- arxiv url: http://arxiv.org/abs/2608.23807v1
- Date: Mon, 24 Aug 2026 20:16:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.576171
- Title: Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware
- Title(参考訳): Serving Masked Diffusion LLMs:実ハードウェアの特性と設計原理
- Abstract要約: マスク付き拡散言語モデル(dLLM)は、多くのトークンを一度に識別するため、自動回帰(AR)モデルよりも高速にテキストを生成することができる。
最近のシステムでは、dLLMのサービスインフラストラクチャの構築が始まっているが、これらのモデルが実際の並行サービスの下でどのように振る舞うかを最初に測定することはない。
LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU。
- 参考スコア(独自算出の注目度): 1.7286026533711227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked diffusion language models (dLLMs) can in principle generate text faster than autoregressive (AR) models, since they denoise many tokens at once. Recent systems have begun building serving infrastructure for dLLMs, but none first measure how these models behave under real, concurrent serving load. Serving systems built without this grounding risk carrying over assumptions from AR serving that may not hold for dLLMs. We characterize dLLM serving to close this gap, using LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU, evaluated on GSM8K and HumanEval. We report three findings. First, request difficulty, the number of denoising steps a request needs, is discrete rather than continuous: requests fall into 11 fixed step-count levels (178 + 29k), and no signal we test predicts the level before generation starts (best R2 = 0.150). Second, benchmarks with short generation budgets below 320 tokens understate serving variance, since requests are cut off before the latency spread appears. Third, only 24% of single-request wall-clock time is GPU computation; the rest is CPU-side dispatch overhead. Batching mainly helps by amortizing this overhead: sharing one forward pass per denoising step improves throughput by 16.0x at batch size 16 over a per-request-dispatch baseline. We also argue structurally that output quality should not degrade with batch size, stating three assumptions this rests on; we measure 74 to 76% GSM8K accuracy at single-request scale. Finally, we derive a batch-timeout rule for fixed-fill synchronized batching under Poisson arrivals. Together, these results show that serving diffusion language models needs parallelism at the level of each denoising step, which differs from AR serving in how admission and eviction interact with an already shared forward pass.
- Abstract(参考訳): マスク付き拡散言語モデル(dLLM)は、多くのトークンを一度に識別するため、原則として自己回帰(AR)モデルよりも高速にテキストを生成することができる。
最近のシステムでは、dLLMのサービスインフラストラクチャの構築が始まっているが、これらのモデルが実際の並列サービス負荷の下でどのように振る舞うかを最初に測定することはない。
この根拠のないシステムの構築は、dLLMに当てはまらないかもしれないARサービスからの仮定を運んでいる。
LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU, based on GSM8K and HumanEval。
我々は3つの発見を報告した。
リクエストは11のステップカウントレベル(178 + 29k)に落ち、テストした信号は生成が始まる前にレベルを予測する(R2 = 0.150)。
第二に、レイテンシの拡散が起こる前に要求が遮断されるため、320トークン未満の短い世代の予算を持つベンチマークは、分散を処理している。
第3に、単一要求のウォールクロック時間のわずか24%がGPU計算であり、残りはCPU側のディスパッチオーバーヘッドである。
分割ステップ毎に1つのフォワードパスを共有することで、バッチサイズ16でのスループットが16.0倍向上する。
また、出力品質はバッチサイズで劣化すべきではなく、3つの仮定が成り立つことを述べ、単一要求スケールで74~76%のGSM8Kの精度を計測する。
最後に,ポアソン到着時の固定充填同期バッチに対するバッチタイムアウトルールを導出する。
これらの結果から,拡散言語モデルでは各段階のレベルにおいて並列性が必要であることが示唆された。
関連論文リスト
- Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。
本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。
我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
論文 参考訳(メタデータ) (2026-09-03T15:48:43Z) - Retrofitting Linear Attention into Diffusion Language Models [8.41282954657158]
拡散言語モデル(dLLMs)は、並列デコーディングによる推論を加速することにより、自己回帰モデルに代わる有望な代替手段を提供する。
最近のdLLMではブロックワイズ半自己回帰デコーディングが一般的であり、各アクティブブロック内でトークンを並列にデノナイズしながら自動回帰的にブロックを生成する。
ブロックハイブリッドアテンションを導入し,従来のブロックに対して線形アテンションを適用しつつ,アクティブデノナイジングブロック内のソフトマックスアテンションを正確に保持する。
論文 参考訳(メタデータ) (2026-08-06T22:34:20Z) - An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。
共有直観自由誘導(CFG)のスループットを克服する。
連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
論文 参考訳(メタデータ) (2026-07-02T12:55:11Z) - ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping [26.560813832545563]
拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。
我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。
我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
論文 参考訳(メタデータ) (2026-03-10T14:31:19Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳(メタデータ) (2025-11-29T23:47:47Z) - Diffusion Language Models are Super Data Learners [61.721441061210896]
ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。
本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
論文 参考訳(メタデータ) (2025-11-05T08:17:42Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳(メタデータ) (2025-09-30T16:32:52Z) - SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する
既存のオープンソースDLMは、高い推論遅延に悩まされている。
DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文 参考訳(メタデータ) (2025-09-28T18:10:10Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳(メタデータ) (2025-08-27T15:40:25Z) - Efficient Depth Estimation for Unstable Stereo Camera Systems on AR Glasses [1.086544864007391]
近年のハードウェアにおけるMLアクセラレーション(GPUとNPU)を考慮した補正とコストボリュームへのアプローチを開発する。
提案手法に基づき,MultiHeadDepth と HomoDepth を開発した。
修正されていないイメージを直接処理できるHomoDepthは、エンドツーエンドのレイテンシを44.5%削減する。
論文 参考訳(メタデータ) (2024-11-15T07:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。