論文の概要: Parameterized Stripe Attention for Efficient Video Generation

• arxiv url: http://arxiv.org/abs/2609.37001v1
• Date: Tue, 29 Sep 2026 08:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.319736
• Title: Parameterized Stripe Attention for Efficient Video Generation
• Title（参考訳）: 効率的なビデオ生成のためのパラメータ付きStripeアテンション
• Abstract要約: Diffusion Diffusion (DiTs) は高品質なビデオ生成を可能にするが、相当な推論遅延に悩まされる。 スパースアテンション手法は潜在的な解決策を提供するが、既存のアプローチは固有の柔軟性-効率ジレンマに直面している。 既存の手法の限界としてDiTアテンションの統一的な構造的特徴が欠如していることを認識し,ビデオDiTアテンションが時間的・次元的に規則性を示すことを示す。
• 参考スコア（独自算出の注目度）: 7.1448760533211635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers (DiTs) enable high-quality video generation but suffer from substantial inference latency, primarily attributable to the computationally expensive full spatio-temporal attention. While sparse attention methods offer potential solutions, existing approaches face an inherent flexibility--efficiency dilemma: predefined masks lack the flexibility to capture diverse attention patterns, while runtime-determined masks introduce overheads and sacrifice hardware efficiency. We identify the lack of a unified structural characterization of DiT attention as a key limitation of existing methods, and establish that video DiT attention exhibits \textbf{periodic diagonal stripe structures} along both temporal and spatial dimensions. To formally encode these structured patterns within a single efficient kernel, we present {\bf PSA}, a parameterized stripe attention that formalizes the observed stripe regularity, unifying diverse attention patterns for efficient mask generation. This unified representation enables a single hardware-efficient CUDA kernel to process all sparse patterns, achieving FlashAttention-3-level Model FLOPs Utilization. To determine optimal sparsity configurations, we propose a training-free offline search algorithm that automatically maximizes sparsity under a specified error tolerance for each attention head. Experiments on HunyuanVideo and Wan~2.1 demonstrate that PSA achieves 1.57$\times$ and 1.37$\times$ end-to-end speedups over FlashAttention-3 baselines, with acceptable visual quality degradation.
• Abstract（参考訳）: Diffusion Transformer (DiTs) は高品質なビデオ生成を可能にするが、主に計算コストのかかるフル時空間の注意に起因して、かなりの推論遅延に悩まされる。 事前定義されたマスクは多様な注意パターンをキャプチャする柔軟性に欠けており、実行時決定されたマスクはオーバーヘッドを導入し、ハードウェア効率を犠牲にする。 既存の手法の鍵となる制約として,DiTアテンションの統一的な構造的特徴が欠如していることを確認し,ビデオDiTアテンションが時間次元と空間次元の両方に沿って \textbf{ periodic diagonal stripe structure} を示すことを確認した。 これらの構造パターンを1つの効率的なカーネル内に形式的にエンコードするために、観測されたストライプの規則性を形式化したパラメータ化ストライプアテンション(英語版)を提示し、効率的なマスク生成のための多様な注意パターンを統一する。 この統一された表現により、単一のハードウェア効率のCUDAカーネルがすべてのスパースパターンを処理し、FlashAttention-3レベルのモデルFLOPを利用できる。 そこで本研究では,各アテンションヘッドに対して,特定の誤差許容条件下でのスパシティを自動的に最大化する,トレーニング不要なオフライン探索アルゴリズムを提案する。 HunyuanVideoとWan~2.1の実験では、PSAがFlashAttention-3ベースラインよりも1.57$\times$と1.37$\times$エンドツーエンドのスピードアップを達成した。

関連論文リスト

• ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers [7.879917783645986]
  Diffusion Transformers (DiTs) は高忠実度ビデオ生成に革命をもたらしたが、3Dフルアテンションに依存しているため、二次的な計算ボトルネックが生じる。 動的プルーニングは禁止されたランタイムのオーバーヘッドとメモリの断片化に悩まされ、静的はきめ細かい依存関係をキャプチャできない。 本研究では,重要な帰納バイアスに基づくトレーニングフリーフレームワークであるScalingAttentionを提案する。 Wan2.1の実験では、1.90倍のエンドツーエンドのスピードアップが達成され、最先端のベースラインに対する新たなフロンティアが確立された。
  論文  参考訳（メタデータ） (2026-06-22T08:32:07Z)
• HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention [68.95533683996236]
  トレーニング不要のスパースアテンションは、トレーニングなしで事前トレーニングされたモデルを加速するため、魅力的である。 既存のオンラインのトップ$p$のスパース・アテンションは、マスクの予測に何の費用もかからない。 これら2つの見過ごされた要因は、ビデオDiTにおけるトレーニング不要のスパースアテンションの実践的スピード品質トレードオフを制限していることを示す。
  論文  参考訳（メタデータ） (2026-05-14T07:57:55Z)
• Compact Attention: Exploiting Structured Spatio-Temporal Sparsity for Fast Video Generation [21.87891961960399]
  Compact Attentionは,3つのイノベーションを特徴とする,ハードウェア対応のアクセラレーションフレームワークだ。 単体GPUのセットアップに注意を向け,1.62.5倍の高速化を実現した。 この研究は、構造化された空間的利用を通じて効率的な長ビデオ生成を解放するための原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2025-08-18T14:45:42Z)
• Ultra3D: Efficient and High-Fidelity 3D Generation with Part Attention [54.15345846343084]
  品質を損なうことなくスパースボクセルモデリングを大幅に高速化する,効率的な3D生成フレームワークであるUltra3Dを提案する。 部分注意(Part Attention)は、意味的に一貫した部分領域内での注意計算を制限する幾何学的な局所的注意機構である。 実験により、Ultra3Dは1024の解像度で高解像度の3D生成をサポートし、視覚的忠実度とユーザの好みの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:16Z)
• PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models [14.14413223631804]
  視覚生成において、注意機構の二次的な複雑さは、高いメモリと計算コストをもたらす。 課題を軽減するための注意パターンを*再編成する。 視覚特徴抽出の局所的な集約性に着想を得て,新しい**Pattern-Aware token Re Ordering (PARO)*テクニックを設計する。
  論文  参考訳（メタデータ） (2025-06-19T06:25:02Z)
• Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers [24.105473321347894]
  本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。 Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。 我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
  論文  参考訳（メタデータ） (2025-06-03T16:42:37Z)
• Training-free and Adaptive Sparse Attention for Efficient Long Video Generation [31.615453637053793]
  Diffusion Transformers (DiTs) による高忠実度長ビデオの生成は、しばしば大きな遅延によって妨げられる。 本稿では,最初の動的パターンとオンライン精密検索スパースアテンション手法であるAdaSpaを提案する。 AdaSpaは適応的なプラグアンドプレイソリューションとして実装されており、既存のDiTとシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-02-28T14:11:20Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。