論文の概要: ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping
- arxiv url: http://arxiv.org/abs/2603.10088v1
- Date: Tue, 10 Mar 2026 14:31:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.627012
- Title: ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping
- Title（参考訳）: ES-dLLM:早期スキッピングによる拡散大言語モデルの効率的な推論
- Abstract要約: 拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。
我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。
我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
- 参考スコア（独自算出の注目度）: 26.560813832545563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) are emerging as a promising alternative to autoregressive models (ARMs) due to their ability to capture bidirectional context and the potential for parallel generation. Despite the advantages, dLLM inference remains computationally expensive as the full input context is processed at every iteration. In this work, we analyze the generation dynamics of dLLMs and find that intermediate representations, including key, value, and hidden states, change only subtly across successive iterations. Leveraging this insight, we propose \textbf{ES-dLLM}, a training-free inference acceleration framework for dLLM that reduces computation by skipping tokens in early layers based on the estimated importance. Token importance is computed with intermediate tensor variation and confidence scores of previous iterations. Experiments on LLaDA-8B and Dream-7B demonstrate that ES-dLLM achieves throughput of up to 226.57 and 308.51 tokens per second (TPS), respectively, on an NVIDIA H200 GPU, delivering 5.6$\times$ to 16.8$\times$ speedup over the vanilla implementation and up to 1.85$\times$ over the state-of-the-art caching method, while preserving generation quality.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は、双方向コンテキストのキャプチャと並列生成の可能性のため、自動回帰モデル(ARM)に代わる有望な選択肢として浮上している。
利点はあるものの、完全な入力コンテキストが反復ごとに処理されるため、dLLM推論は計算コストがかかる。
本研究では、dLLMの生成ダイナミクスを分析し、キー、値、隠蔽状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを示す。
この知見を生かして,dLLM のトレーニング不要推論促進フレームワークである \textbf{ES-dLLM} を提案する。
トークン重要度は、前のイテレーションの中間テンソル変動と信頼スコアで計算される。
LLaDA-8BとDream-7Bの実験では、ES-dLLMは最大226.57トークンと308.51トークン/秒(TPS)のスループットを実現し、NVIDIA H200 GPU上で5.6$\times$から16.8$\times$バニラ実装のスピードアップと1.85$\times$を生成品質を維持しながら実現している。
関連論文リスト
- LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳（メタデータ） (2026-02-02T09:14:51Z) - Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。
UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。
定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
論文 参考訳（メタデータ） (2026-02-01T18:00:35Z) - Residual Context Diffusion Language Models [90.07635240595926]
Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。
RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
論文 参考訳（メタデータ） (2026-01-30T13:16:32Z) - Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules [25.251683954675958]
トレーニング不要でモデルに依存しない早期終了アルゴリズムであるSchEDを提案する。
SchEDは完全なロジットマージンを集約し、スムーズで進捗に依存した信頼しきい値が満たされるとデコーディングを停止する。
我々は、SchEDが堅牢であり、信頼に基づく早期退避法よりも明らかに優れていることを示す。
論文 参考訳（メタデータ） (2025-12-02T16:01:08Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - Diffusion LLM with Native Variable Generation Lengths: Let [EOS] Lead the Way [23.877854550033224]
拡散に基づく大規模言語モデル (dLLMs) は、並列テキスト生成にかなりの可能性を秘めている。
現在のdLLMは、デコード前にdLLMの生成長を決定する必要があることを示す固定生成長に悩まされている。
本稿では,dLLM-Var と略して,固有変数生成長を持つ拡散 LLM の学習を提案する。
論文 参考訳（メタデータ） (2025-10-28T16:32:43Z) - dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。
本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
論文 参考訳（メタデータ） (2025-10-09T16:19:42Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching [27.114862565164145]
拡散に基づく大規模言語モデルは、反復的にマスキングされたセグメントによってテキストを生成する。
dLLMは高い推論遅延に悩まされる。
従来のARMアクセラレーション技術は、dLLMと互換性がない。
トレーニング不要な適応型キャッシュフレームワークであるdLLM-Cacheを提案する。
論文 参考訳（メタデータ） (2025-05-17T15:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。