論文の概要: Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2506.03065v1
• Date: Tue, 03 Jun 2025 16:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.835317
• Title: Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
• Title（参考訳）: Sparse-vDiT:ビデオ拡散変換器の高速化のためのスパース注意力の解放
• Authors: Pengtao Chen, Xianfang Zeng, Maosen Zhao, Peng Ye, Mingzhu Shen, Wei Cheng, Gang Yu, Tao Chen,
• Abstract要約: 本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。 Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。 我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
• 参考スコア（独自算出の注目度）: 24.105473321347894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Diffusion Transformers (DiTs) have achieved breakthroughs in video generation, this long sequence generation task remains constrained by the quadratic complexity of attention mechanisms, resulting in significant inference latency. Through detailed analysis of attention maps in Video Diffusion Transformer (vDiT), we identify three recurring sparsity patterns: diagonal, multi-diagonal, and vertical-stripe structures. And even 3-6\% attention heads can be skipped. Crucially, these patterns exhibit strong layer-depth and head-position correlations but show limited dependence on the input content. Leveraging these findings, we propose Sparse-vDiT, a sparsity acceleration framework for vDiT comprising: 1) Pattern-optimized sparse kernels that replace dense attention with computationally efficient implementations for each identified sparsity pattern. 2) An offline sparse diffusion search algorithm that selects the optimal sparse computation strategy per layer and head via hardware-aware cost modeling. After determining the optimal configuration, we fuse heads within the same layer that share the same attention strategy, enhancing inference efficiency. Integrated into state-of-the-art vDiT models (CogVideoX1.5, HunyuanVideo, and Wan2.1), Sparse-vDiT achieves 2.09$\times$, 2.38$\times$, and 1.67$\times$ theoretical FLOP reduction, and actual inference speedups of 1.76$\times$, 1.85$\times$, and 1.58$\times$, respectively, while maintaining high visual fidelity, with PSNR values reaching 24.13, 27.09, and 22.59. Our work demonstrates that latent structural sparsity in vDiTs can be systematically exploited for long video synthesis.
• Abstract（参考訳）: Diffusion Transformers (DiTs) はビデオ生成においてブレークスルーを達成したが、この長いシーケンス生成タスクは注意機構の2次複雑さによって制約され、大きな推論遅延が発生する。 ビデオ拡散変換器 (vDiT) における注意図の詳細な解析により, 対角, 多対角, 垂直ストリップの3つの繰り返しパターンを同定した。 また、3-6\%のアテンションヘッドもスキップできる。 これらのパターンは, 層厚と頭部位置の相関が強いが, 入力内容への依存性は限られている。 これらの知見を生かして、sparse-vDiT という vDiT の空間加速度フレームワークを提案する。 1) 注目度に置き換わるパターン最適化スパースカーネルは, それぞれが同定されたスパースパターンに対して, 計算効率のよい実装である。 2) ハードウェア・アウェア・コスト・モデリングにより, 層ごとの最適スパース計算戦略を選択するオフラインスパース拡散探索アルゴリズムを提案する。 最適な設定を決定すると、同じ注意戦略を共有する同じレイヤに頭を融合させ、推論効率を向上します。 最先端のvDiTモデル(CogVideoX1.5、HunyuanVideo、Wan2.1)に統合され、Sparse-vDiTは2.09$\times$、2.38$\times$、1.67$\times$、理論FLOP$、1.76$\times$、1.85$\times$、1.58$\times$、PSNR値は24.13、27.09、22.59となる。 我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。

関連論文リスト

• VORTA: Efficient Video Diffusion via Routing Sparse Attention [45.269274789183974]
  ビデオ拡散変換器(VDiT)は高品質なビデオ生成において顕著な進歩を遂げているが、計算コストは依然として高い。 2つの新しいコンポーネントを持つ加速度フレームワーク VORTA を提案する。 VBenchでは品質を損なうことなく、エンドツーエンドのスピードアップを1.76タイムで達成している。
  論文  参考訳（メタデータ） (2025-05-24T17:46:47Z)
• DyDiT++: Dynamic Diffusion Transformers for Efficient Visual Generation [66.86241453156225]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 textbfDynamic textbfDiffusion textbfTransformer (DyDiT)を提案する。 DyDiTは、その計算を時間ステップと空間次元の両方に沿って調整する。
  論文  参考訳（メタデータ） (2025-04-09T11:48:37Z)
• Training-free and Adaptive Sparse Attention for Efficient Long Video Generation [31.615453637053793]
  Diffusion Transformers (DiTs) による高忠実度長ビデオの生成は、しばしば大きな遅延によって妨げられる。 本稿では,最初の動的パターンとオンライン精密検索スパースアテンション手法であるAdaSpaを提案する。 AdaSpaは適応的なプラグアンドプレイソリューションとして実装されており、既存のDiTとシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-02-28T14:11:20Z)
• DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training [85.04885553561164]
  Diffusion Transformer (DiTs) は高品質なビデオの生成において顕著な性能を示した。 DiTは処理時間の95%を消費し、特別なコンテキスト並列性を要求する。 本稿では,経験的に観察したダイナミックアテンション空間を利用して,DSVによるビデオDiTトレーニングを高速化する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T14:39:59Z)
• Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile [28.913893318345384]
  3次元フルアテンションを持つ拡散変換器(DiT)は、注意計算の複雑さと多数のサンプリングステップにより、高価な推論に悩まされる。 本稿では,1)ビデオデータの冗長性に基づく3Dフルアテンションの抽出,2)既存の多段整合蒸留によるサンプリングプロセスの短縮,の2つの側面から非効率性の問題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T05:00:56Z)
• Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity [59.80405282381126]
  拡散変換器(DiT)はビデオ生成を支配しているが、その高い計算コストは現実の応用性を著しく制限する。 Sparse VideoGen (SVG) と呼ばれる3次元フルアテンションに固有の空間を利用して推論効率を向上する学習自由フレームワークを提案する。 SVGはCagVideoX-v1.5とHunyuanVideoで最大2.28倍と2.33倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-03T19:29:16Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。