論文の概要: Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference
- arxiv url: http://arxiv.org/abs/2611.01320v1
- Date: Sat, 31 Oct 2026 22:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.465938
- Title: Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference
- Title（参考訳）: Step-dLLM: 効率的な拡散LDM推論のための適応的なステップ認識スパースアテンション
- Abstract要約: 拡散大言語モデル (dLLMs) は反復的 denoising を通じてトークンを並列に生成する。
彼らの双方向の注意は、自己回帰モデルで使用されるKVキャッシュを防止し、すべてのステップでフルアテンションマップを再計算する。
本稿では,ブロックスパースマスクを周期的に復調するステップ-dLLMを提案する。
Step-dLLM は IO 対応 Triton カーネルによってブロックスパークの注意を喚起し、LLa 上の高密度 FlashAttention よりも2.78倍のエンドツーエンドの高速化を実現した。
- 参考スコア（独自算出の注目度）: 21.77719787032667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion large language models (dLLMs) generate tokens in parallel via iterative denoising, but their bidirectional attention prevents the KV caching used by autoregressive models and recomputes the full attention map at every step, incurring quadratic per-step cost. Existing sparse attention methods for dLLMs construct a sparse mask after an initial full-attention warm-up and reuse it for the remaining steps, while allocating the sparsity budget uniformly across heads. We argue both choices ignore key structural properties of attention in dLLMs: empirically, attention patterns are only locally consistent across steps and shift abruptly at certain transitions, and different heads concentrate their attention mass to very different extents. To this end, we design Step-dLLM, which periodically refreshes a block-sparse mask at anchor steps along the denoising trajectory and reuses it within each locally consistent interval, while employing a head-adaptive global budget that more aggressively compresses heads with concentrated attention. Backed by a fused IO-aware Triton kernel for block-sparse attention, Step-dLLM applies to pre-trained LLaDA-1.5 and Dream-7B-Instruct without retraining, achieving a 2.78x end-to-end speedup over dense FlashAttention on LLaDA-1.5 at 8K context with 256 denoising steps and 90% sparsity, while improving the accuracy-latency trade-off over prior sparse-attention methods.
- Abstract（参考訳）: 拡散大言語モデル (dLLMs) は反復的復調によりトークンを並列に生成するが、その双方向の注意は自己回帰モデルで使用されるKVキャッシングを防止し、ステップ毎に全注意マップを再計算し、ステップ毎の2次コストを発生させる。
既存のdLLMのスパースアテンション手法は、最初のフルアテンションウォームアップ後にスパースマスクを構築し、残りのステップで再利用する。
実験的に、注意パターンはステップ間でのみ局所的に整合し、ある遷移で突然シフトし、異なる頭部が注意質量を全く異なる範囲に集中する。
この目的のために我々は,ブロックスパースマスクを周期的に復調し,局所的に一貫した間隔で再利用するステップ-dLLMを設計した。
Step-dLLMはブロックスパース注意のためにIO対応のTritonカーネルにバックアップされ、事前訓練されたLLaDA-1.5とDream-7B-Instructに再トレーニングせずに適用され、8KコンテキストでのLLaDA-1.5の2.78倍のエンドツーエンドのスピードアップを実現した。
関連論文リスト
- Trajectory-Level Speculative Decoding for Diffusion Language Models [16.97093186372498]
拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。
そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。
我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
論文 参考訳（メタデータ） (2026-08-27T09:42:20Z) - Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。
パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文 参考訳（メタデータ） (2026-06-09T13:17:27Z) - PulseCol: Periodically Refreshed Column-Sparse Attention for Accelerating Diffusion Language Models [61.39458217121294]
拡散大言語モデル(dLLM)の推論は計算コストが高い。
最近のdLLMのスパースアテンション手法はブロックスパース計算によってこのコストを軽減している。
我々は定期的に更新されたカラムスパースアテンション手法であるPulseColを紹介する。
論文 参考訳（メタデータ） (2026-05-20T07:06:54Z) - DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。
DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-03-09T07:02:01Z) - MAGE: All-[MASK] Block Already Knows Where to Look in Diffusion LLM [9.69241599043101]
ブロック拡散LDMは言語生成の次のパラダイムとして期待されているが、KVキャッシュの利用により、長期コンテキスト設定においてメモリアクセスが主要なボトルネックとなっている。
この研究は拡散をブロックする鍵となる機会を特定し、第1回All-[MASK]における注意は、重要なKVエントリと予算要件を確実に予測する。
MAGEはKV予算のごく一部でほぼロスレスの精度を達成し、最大3-4倍のエンドツーエンドのスピードアップを提供する。
軽量な微調整戦略は、[MASK]誘導パターンを最小限のコストで強化し、数時間のトレーニングしか必要としない。
論文 参考訳（メタデータ） (2026-02-15T16:07:51Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する
既存のオープンソースDLMは、高い推論遅延に悩まされている。
DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文 参考訳（メタデータ） (2025-09-28T18:10:10Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳（メタデータ） (2025-08-04T16:14:03Z) - S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。
スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。
本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
論文 参考訳（メタデータ） (2024-07-25T00:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。