論文の概要: LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.31911v1
• Date: Thu, 22 Oct 2026 21:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.292642
• Title: LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
• Title（参考訳）: LazyFlash: 長時間のファインチューニングを高速化する後方分離型アテンション
• Abstract要約: 本稿では,前向き・後向きの注意法であるLazyFlashを紹介する。 LazyFlashはフォワードパスを正確に高密度に保つため、トレーニングされたモデルは標準の高密度モデルのままである。 長文テキストと音声によるLLMの実験では、LazyFlashは5.7倍のアテンション・バックのスピードアップを達成しつつ、下流のパフォーマンスを維持している。
• 参考スコア（独自算出の注目度）: 25.59567066520556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) process increasingly long sequences, attention becomes a major computational bottleneck. Sparse attention mostly targets inference, yet many methods still train densely or cannot support sparse training, and their added complexity makes sparsity hard to turn into wall-clock speedups, leaving dense attention widely used in practice. This paper introduces LazyFlash, a forward-dense, backward-sparse attention method built on the observation that attention training is dominated by the backward pass. LazyFlash keeps the forward pass exactly dense, so the trained model remains a standard dense model that existing systems such as vLLM can serve without any change. For the backward pass, LazyFlash proposes a gradient-aware block sparsification design that ranks query blocks by their attention-output gradient norms and skips those contributing negligibly to parameter updates, turning the dense backward into a block-sparse one. A gradient-mass budget adapts the amount of skipped computation to each head and training step, while importance sampling preserves the dense gradient in expectation. These designs are implemented inside the tiled FlashAttention backward kernel, where skipped blocks are never loaded or computed, translating gradient sparsity into real wall-clock acceleration. Experiments on long-context text and speech LLMs show that LazyFlash maintains downstream performance while achieving up to 5.7x attention-backward speedup over FlashAttention and 1.7x end-to-end training speedup.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより長いシーケンスを処理していくにつれて、注意が計算のボトルネックとなる。 スパース・アテンションは主に推論を対象としているが、多くの手法はいまだに密に訓練されているか、スパース・トレーニングをサポートしていない。 本稿では,前向き・後向きの注意法であるLazyFlashについて紹介する。 LazyFlashはフォワードパスを厳密に保っているため、トレーニングされたモデルは、vLLMのような既存のシステムが変更することなく利用できるような標準の高密度モデルのままである。 後方通過のために、LazyFlashは勾配対応のブロックスペーシフィケーション設計を提案している。これは、クエリブロックを注意出力の勾配ノルムでランク付けし、パラメータ更新に無視的に寄与するブロックをスキップし、密度の高い後方をブロックスパースにする。 勾配質量予算は、スキップされた計算量を各ヘッドとトレーニングステップに適応させ、重要サンプリングは期待の密度勾配を保存する。 これらの設計はタイル付きFlashAttentionの後方カーネル内に実装されており、スキップされたブロックをロードしたり計算したりすることなく、勾配の間隔を実際のウォールクロックアクセラレーションに変換する。 長文テキストと音声 LLM の実験では、LazyFlash は、FlashAttention よりも5.7倍、エンドツーエンドのトレーニング速度は1.7倍まで、下流のパフォーマンスを維持している。

関連論文リスト

• Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
  意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。 V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
  論文  参考訳（メタデータ） (2026-06-07T08:32:13Z)
• UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training [25.273337266205413]
  大規模言語モデル(LLM)における長文推論は、自己注意キー値(KV)キャッシュの線形成長によってボトルネックとなる。 Top-kキャッシュはKVキャッシュのごく一部で注意を緩和するが、トレーニングと補助トレーニングの両方において、正確に重要性を推定する。
  論文  参考訳（メタデータ） (2026-05-26T22:32:43Z)
• FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling [43.057651076580264]
  FlashPrefillは、瞬時パターン発見としきい値設定による超高速プリフィルを可能にするフレームワークである。 FlashPrefillは256Kシーケンスで前例のない27.78倍の高速化を実現している。 短いコンテキストで効率を劣化させる既存の方法とは異なり、FlashPrefillは4Kコンテキスト長でも1.71倍のスピードアップを維持している。
  論文  参考訳（メタデータ） (2026-03-06T12:12:46Z)
• FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion [51.1618564189244]
  FlashBlockは、安定したアテンション出力を再利用し、拡散プロセスを変更することなくアテンション計算とKVキャッシュアクセスを減らす、キャッシュされたブロック外部アテンションメカニズムである。 拡散言語モデルとビデオ生成の実験では、1.44$times$高いトークンスループットと1.6$times$の注意時間を短縮し、生成品質に無視できない影響を与えている。
  論文  参考訳（メタデータ） (2026-02-05T04:57:21Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
  SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。 Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。 評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-17T07:07:09Z)
• Faster Causal Attention Over Large Sequences Through Sparse Flash Attention [45.18552512844457]
  FlashAttentionを拡張して、大量の注目空間パターンに対応します。 変換言語モデルのトレーニング速度を、それぞれ$2.0times$と$3.3times$で、それぞれ$8k$と$16k$のシーケンスで増加します。
  論文  参考訳（メタデータ） (2023-06-01T21:33:59Z)
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
  FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。 これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
  論文  参考訳（メタデータ） (2022-05-27T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。