論文の概要: Sparse Attention for Video Generation Acceleration via Growing Sparsity and Reduced Search

• arxiv url: http://arxiv.org/abs/2610.21129v1
• Date: Thu, 15 Oct 2026 02:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.139838
• Title: Sparse Attention for Video Generation Acceleration via Growing Sparsity and Reduced Search
• Title（参考訳）: 空間拡大と探索削減による映像生成促進のためのスパースアテンション
• Abstract要約: 拡散変換器(DiT)はビデオ生成を支配しているが、自己注意による推論コストが高い。 我々は注意エントロピーと平均注意距離を通して注意動態を解析し、注意が認知段階にまたがって集中することを発見した。 より早期に計算量を増やし、徐々に減らすトレーニングフリーのフレームワークであるGrowing Sparsity and Reduced Search (GSRS)を提案する。
• 参考スコア（独自算出の注目度）: 23.954191753930193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) dominate video generation but suffer from high inference cost due to the quadratic complexity of self-attention. Sparse attention mitigates this by skipping unnecessary computation in the attention matrix, but existing methods apply a fixed sparsity ratio throughout denoising and struggle to accurately determine which computations to skip. To address these limitations, we analyze attention dynamics through attention entropy and mean attention distance, and find that attention becomes increasingly concentrated across denoising steps. We further observe that blocks selected early continue to capture a large fraction of the total attention weight at later steps. These findings suggest two acceleration opportunities: the sparsity ratio should grow as denoising progresses, and earlier search results can be reused to reduce the search space. Based on these findings, we propose Growing Sparsity and Reduced Search (GSRS), a training-free framework that retains more computation early and progressively reduces it later, while restricting subsequent searches to an early candidate set to reduce search overhead. GSRS adopts Top-p selection for adaptive sparsity control, supported by a precise evaluation scheme that computes exact attention weights within the FlashAttention computation at negligible overhead. Experiments on HunyuanVideo and Wan 2.1 validate that GSRS achieves 1.55$\times$--2.21$\times$ speedup while maintaining generation quality comparable to full attention.
• Abstract（参考訳）: 拡散変換器(DiT)はビデオ生成を支配しているが、自己注意の2次複雑さのために高い推論コストを被る。 スパース・アテンションは、注意行列で不要な計算をスキップすることでこれを緩和するが、既存の手法では、どの計算をスキップするかを正確に決定するのに難しかった。 これらの制約に対処するために、注意エントロピーと平均注意距離を通して注意動態を分析し、注意が認知段階にまたがって集中することを発見した。 さらに,早期に選択されたブロックが,後段の注目重量のかなりの部分を占め続けていることも確認した。 これらの結果から, 空間の縮退に伴い, 空間密度比が増大し, より早期の検索結果を再利用し, 探索空間を縮小できる可能性が示唆された。 これらの結果に基づき,より早期に計算量を増やし,徐々に削減する学習自由フレームワークであるGrowing Sparsity and Reduced Search (GSRS)を提案する。 GSRSは、FlashAttention計算における正確な注意重みを無視可能なオーバーヘッドで計算する正確な評価スキームによってサポートされている適応時空間制御のためのトップp選択を採用する。 HunyuanVideoとWan 2.1の実験はGSRSが1.55$\times$--2.21$\times$ Speedupを達成したことを証明した。

関連論文リスト

• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• Temporal Backtracking Search for Test-time Generative Video Reasoning [51.4821857044108]
  生成的ビデオ推論は、シングルショットのパラダイムによってボトルネックになっている。 本稿では,検索空間を時間軸にシフトさせるTBS(Temporal Backtracking Search)を提案する。 厳格なアウト・オブ・ディストリビューション設定では、TBSは22.7%を達成し、解決された各エピソードは再起動されたブランチから始まる。
  論文  参考訳（メタデータ） (2026-06-11T19:41:18Z)
• PulseCol: Periodically Refreshed Column-Sparse Attention for Accelerating Diffusion Language Models [61.39458217121294]
  拡散大言語モデル(dLLM)の推論は計算コストが高い。 最近のdLLMのスパースアテンション手法はブロックスパース計算によってこのコストを軽減している。 我々は定期的に更新されたカラムスパースアテンション手法であるPulseColを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T07:06:54Z)
• LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion [87.42285185305813]
  本稿では,Reward-Guided Resampling and Pruningを実行する新しい推論時間探索機構を提案する。 LatSearchは、ベースラインのWan2.1モデルと比較して、複数の評価次元にわたるビデオ生成を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-15T18:07:29Z)
• SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
  拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する 既存のオープンソースDLMは、高い推論遅延に悩まされている。 DLMのための新しいスパースアテンション手法であるスパースDを提案する。
  論文  参考訳（メタデータ） (2025-09-28T18:10:10Z)
• SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention [88.47701139980636]
  Diffusion Transformer(DiT)モデルでは、特にビデオ生成において、注意遅延が大きなボトルネックとなっている。 注目重量は2つの部分に分けられる: 高いランクの大型重量のごく一部と、非常に低いランクの残りの重量の2つである。 本稿では,拡散モデルを高速化するために,疎度と直線的注意を融合させる訓練可能な注意法SLAを提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:58:59Z)
• RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
  RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。