論文の概要: Accelerating Diffusion Language Models via Structured Suffix Modeling
- arxiv url: http://arxiv.org/abs/2608.23167v1
- Date: Mon, 24 Aug 2026 12:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:37.007927
- Title: Accelerating Diffusion Language Models via Structured Suffix Modeling
- Title（参考訳）: 構造接尾辞モデリングによる拡散言語モデルの高速化
- Abstract要約: Diffusion Language Models (DLM) は、複数のトークンを1世代で識別することで、強力な並列デコーディング能力を示す。
既存の方法では、ローカルな接尾辞ウィンドウのみをフル接尾辞の代用として保持することで、このコストを削減するのが一般的である。
効率的なDLM推論のための構造付き接尾辞モデリング法を提案する。
- 参考スコア（独自算出の注目度）: 16.43422630439004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion Language Models (DLMs) exhibit strong parallel decoding capabilities by denoising multiple tokens in a single generation step. However, this parallelism comes with substantial computational overhead, as each step requires interactions with all suffix tokens. Existing methods typically reduce this cost by retaining only a local suffix window as a substitute for the full suffix. Despite their effectiveness, these methods overlook the structural heterogeneity across suffix regions and re-initialize suffix tokens with identical representations at each timestep. To this end, we propose a structured suffix modeling method for efficient DLM inference. Specifically, we divide the suffix into three regions, i.e., the local, middle, and tail regions, and retain different numbers of suffix tokens in each region according to their structural roles. Moreover, we incorporate the decoding results from the previous step into the suffix token representations at the current step, allowing them to carry evolving denoising information across generation steps. Notably, our method is training-free and orthogonal to several existing acceleration techniques, such as parallel decoding strategies and KV cache. Empirical results across multiple benchmarks on three DLMs demonstrate that our method can further accelerate DLM inference and improve performance in most cases. In particular, in long-sequence inference, our method achieves up to a \(72.81\times\) speedup when combined with other acceleration techniques. Our code is available at https://github.com/zifengcheng/SSM.
- Abstract（参考訳）: Diffusion Language Models (DLM) は、複数のトークンを1世代で識別することで、強力な並列デコーディング能力を示す。
しかし、この並列性には計算上のオーバーヘッドが伴い、各ステップはすべての接尾辞トークンとの相互作用を必要とする。
既存の方法では、ローカルな接尾辞ウィンドウのみをフル接尾辞の代用として保持することで、このコストを削減するのが一般的である。
それらの効果にもかかわらず、これらの手法は接尾辞領域全体の構造的不均一性を見落とし、各時刻に同じ表現で接尾辞トークンを再初期化する。
そこで本研究では,効率的なDLM推論のための構造付き接尾辞モデルを提案する。
具体的には、接尾辞を3つの領域、すなわち、地域、中、尾の領域に分割し、それぞれの領域における接尾辞の役割に応じて異なる数の接尾辞トークンを保持する。
さらに,前ステップからの復号結果を現在のステップで接尾辞トークン表現に組み込むことで,生成ステップ間で進化する復号情報を実行できる。
特に,本手法は並列デコード戦略やKVキャッシュなど,既存のアクセラレーション手法と直交する訓練のない手法である。
3つのDLM上での複数のベンチマークによる実験結果から,本手法はDLM推論をさらに高速化し,ほとんどの場合の性能向上を図っている。
特に、時系列推論では、他の加速手法と組み合わせると、最大で(72.81\times\)の高速化が達成される。
私たちのコードはhttps://github.com/zifengcheng/SSM.comで公開されています。
関連論文リスト
- SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding [11.233923872369202]
拡散大言語モデル (DLLM) は、双方向コンテキストで劣化したトークンを反復的にデノベートすることで、非自己回帰的な計算生成を可能にする。
本稿では,トークン間の再配置によってDLLMを高速化するScaffold-Aware Iterative DecodingフレームワークであるSAIDを提案する。
数学、コーディング、知識ベンチマークにおけるLLaDA-8BとLLaDA 1.5の実験は、SAIDが競争性能を維持しながら最大9.1倍の速度で推論を著しく加速することを示している。
論文 参考訳（メタデータ） (2026-06-03T14:56:42Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - Divide and Conquer: Accelerating Diffusion-Based Large Language Models via Adaptive Parallel Decoding [6.755667885643806]
拡散に基づく大規模言語モデル(dLLM)は、様々な推論タスクで有望なパフォーマンスを示している。
適応型並列復号法であるDiCoを導入し,三相分割コンカレントパラダイムを特徴とする。
大規模な実験により、DiCoは競争力のある生成品質を維持しながら、大きな推論スピードアップを達成できることが示された。
論文 参考訳（メタデータ） (2026-02-27T08:36:06Z) - Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳（メタデータ） (2026-02-02T09:14:51Z) - Residual Context Diffusion Language Models [90.07635240595926]
Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。
RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
論文 参考訳（メタデータ） (2026-01-30T13:16:32Z) - Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching [10.315266731366123]
推論のためのウィンドウベースのトークンプルーニングとキャッシュ手法を提案する。
LLaDAとDreamの実験では、一致した計算予算の下では、提案手法は最大99タイムの推論高速化を実現する。
論文 参考訳（メタデータ） (2026-01-28T07:49:20Z) - D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs [22.78575203353886]
拡散に基づく多モード大言語モデル(拡散MLLM)は自己回帰モデルよりもかなり遅い推論を示す。
本稿では,拡散MLLMにおける推論を高速化する動的トークンマージ手法D$3$ToMを提案する。
実験によると、D$3$ToMは競合性能を維持しながら推論を加速する。
論文 参考訳（メタデータ） (2025-11-15T16:24:12Z) - Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。
ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。
Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
論文 参考訳（メタデータ） (2025-09-18T17:48:21Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - Sampling from Your Language Model One Byte at a Time [82.71473348639489]
トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。
BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。
提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
論文 参考訳（メタデータ） (2025-06-17T02:37:04Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。