論文の概要: PulseCol: Periodically Refreshed Column-Sparse Attention for Accelerating Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.20813v1
• Date: Wed, 20 May 2026 07:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.543735
• Title: PulseCol: Periodically Refreshed Column-Sparse Attention for Accelerating Diffusion Language Models
• Title（参考訳）: PulseCol: 拡散言語モデル高速化のための周期的リフレッシュカラムスパース注意
• Authors: Yanyi Lyu, Letian Chen, Futing Sun, Miao Zhang, Weili Guan, Liqiang Nie,
• Abstract要約: 拡散大言語モデル(dLLM)の推論は計算コストが高い。 最近のdLLMのスパースアテンション手法はブロックスパース計算によってこのコストを軽減している。 我々は定期的に更新されたカラムスパースアテンション手法であるPulseColを紹介する。
• 参考スコア（独自算出の注目度）: 61.39458217121294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference in diffusion large language models (dLLMs) is computationally expensive, as full self-attention must be repeatedly executed at each step of the denoising process without KV cache. Recent sparse attention methods for dLLMs mitigate this cost via block-sparse computation, which is applied only in later iterations when model performance is less sensitive to coarse-grained sparse approximation, but yields limited improvements in computational efficiency and acceleration. This motivates a finer-grained sparsification strategy that can be applied from earlier iterations and leverages reusable sparsity patterns, enabling further efficiency gains. In this work, we introduce PulseCol, a periodically refreshed column-sparse attention method for accelerating diffusion language models. PulseCol replaces coarse block-level sparsity with a finer-grained column-sparse structure, allowing important attention interactions to be retained more precisely while exposing greater sparsity. Built on this column-level formulation, PulseCol further identifies sparse patterns at the early denoising step and reuses them across subsequent iterations, refreshing them only at a small number of intermediate steps to track the evolution of sparse attention patterns during denoising. Experiments show that PulseCol achieves higher sparsity and greater practical speedup than prior sparse attention methods for dLLMs, while maintaining model quality. Enabled by optimized GPU kernels for column-sparse attention, PulseCol delivers up to 1.95$\times$ end-to-end speedup over FlashAttention across several context lengths.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)の推論は計算コストが高く、KVキャッシュを使わずにデノナイジングプロセスの各ステップで完全な自己注意を繰り返す必要がある。 最近のdLLMのスパースアテンション法はブロックスパース計算によってこのコストを軽減するが、これはモデル性能が粗粒のスパース近似に敏感でない場合にのみ適用されるが、計算効率と加速度の制限的な改善をもたらす。 これは、初期のイテレーションから適用でき、再利用可能なスパーシフィケーションパターンを活用することで、さらなる効率向上を可能にする、よりきめ細かいスペーシフィケーション戦略を動機付けている。 本稿では,拡散言語モデルの高速化を目的とした,周期的に更新されたカラムスパースアテンション手法であるPulseColを紹介する。 PulseColは粗いブロックレベルのスパースをより微細なカラムスパース構造に置き換え、より微細なスパースを露呈しながら重要な注意相互作用をより正確に保持する。 この列レベルの定式化の上に構築されたPulseColは、初期のデノナイズステップでスパースパターンを識別し、その後のイテレーションで再利用し、少数の中間ステップでのみリフレッシュして、デノナイズ中のスパースアテンションパターンの進化を追跡する。 実験により、PulseColは、モデル品質を維持しつつ、dLLMのスパースアテンション手法よりも、空間性が高く、実用的なスピードアップを実現していることが示された。 カラムスパース注意のために最適化されたGPUカーネルによって実現され、PulseColは最大1.95$\times$FlashAttention上でのエンドツーエンドのスピードアップを提供する。

関連論文リスト

• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling [43.057651076580264]
  FlashPrefillは、瞬時パターン発見としきい値設定による超高速プリフィルを可能にするフレームワークである。 FlashPrefillは256Kシーケンスで前例のない27.78倍の高速化を実現している。 短いコンテキストで効率を劣化させる既存の方法とは異なり、FlashPrefillは4Kコンテキスト長でも1.71倍のスピードアップを維持している。
  論文  参考訳（メタデータ） (2026-03-06T12:12:46Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• LiteAttention: A Temporal Sparse Attention for Diffusion Transformers [1.3471268811218626]
  LiteAttentionは時間的コヒーレンスを利用して、デノナイジングシーケンスを横断する進化的計算スキップを可能にする。 我々はFlashAttention上に高度に最適化されたLiteAttentionカーネルを実装し、プロダクションビデオ拡散モデルにかなりのスピードアップを示す。
  論文  参考訳（メタデータ） (2025-11-14T08:26:55Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
  拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する 既存のオープンソースDLMは、高い推論遅延に悩まされている。 DLMのための新しいスパースアテンション手法であるスパースDを提案する。
  論文  参考訳（メタデータ） (2025-09-28T18:10:10Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
  拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。 最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。 我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
  論文  参考訳（メタデータ） (2025-05-27T17:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。