論文の概要: Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile

• arxiv url: http://arxiv.org/abs/2502.06155v1
• Date: Mon, 10 Feb 2025 05:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:50.201507
• Title: Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile
• Title（参考訳）: 効率の良いvDiT:アテンションタイル付き高効率ビデオ拡散変換器
• Authors: Hangliang Ding, Dacheng Li, Runlong Su, Peiyuan Zhang, Zhijie Deng, Ion Stoica, Hao Zhang,
• Abstract要約: 3次元フルアテンションを持つ拡散変換器(DiT)は、注意計算の複雑さと多数のサンプリングステップにより、高価な推論に悩まされる。 本稿では,1)ビデオデータの冗長性に基づく3Dフルアテンションの抽出,2)既存の多段整合蒸留によるサンプリングプロセスの短縮,の2つの側面から非効率性の問題に対処する。
• 参考スコア（独自算出の注目度）: 28.913893318345384
• License:
• Abstract: Despite the promise of synthesizing high-fidelity videos, Diffusion Transformers (DiTs) with 3D full attention suffer from expensive inference due to the complexity of attention computation and numerous sampling steps. For example, the popular Open-Sora-Plan model consumes more than 9 minutes for generating a single video of 29 frames. This paper addresses the inefficiency issue from two aspects: 1) Prune the 3D full attention based on the redundancy within video data; We identify a prevalent tile-style repetitive pattern in the 3D attention maps for video data, and advocate a new family of sparse 3D attention that holds a linear complexity w.r.t. the number of video frames. 2) Shorten the sampling process by adopting existing multi-step consistency distillation; We split the entire sampling trajectory into several segments and perform consistency distillation within each one to activate few-step generation capacities. We further devise a three-stage training pipeline to conjoin the low-complexity attention and few-step generation capacities. Notably, with 0.1% pretraining data, we turn the Open-Sora-Plan-1.2 model into an efficient one that is 7.4x -7.8x faster for 29 and 93 frames 720p video generation with a marginal performance trade-off in VBench. In addition, we demonstrate that our approach is amenable to distributed inference, achieving an additional 3.91x speedup when running on 4 GPUs with sequence parallelism.
• Abstract（参考訳）: 高忠実度ビデオの合成の約束にもかかわらず、3Dフルアテンションを持つ拡散トランスフォーマー(DiT)は、注意計算の複雑さと多数のサンプリングステップのために、高価な推論に悩まされる。 例えば、人気のあるOpen-Sora-Planモデルは29フレームの単一のビデオを生成するために9分以上消費する。 本稿では2つの側面から非効率問題に対処する。 1) ビデオデータの冗長性に基づいて3Dをフルアテンションし,ビデオデータに対する3Dアテンションマップにおけるタイルスタイルの反復パターンを同定し,ビデオフレーム数に比例して線形複雑性を有する疎3Dアテンションの新たなファミリーを提唱する。 2) 既存の多段階連続蒸留を取り入れて, サンプリング過程を短縮し, サンプリング軌道全体を複数のセグメントに分割し, それぞれのセグメント内で整合蒸留を行い, 少数段階生成能力の活性化を図る。 さらに、低複雑さの注意と数ステップの世代能力とを結合する3段階のトレーニングパイプラインを考案する。 特に、0.1%の事前トレーニングデータを用いて、Open-Sora-Plan-1.2モデルを、29フレームと93フレームの720pビデオ生成において、7.4x-7.8倍高速で、VBenchでの限界性能トレードオフを伴う効率的なモデルに変換する。 さらに,提案手法は分散推論に適しており,シーケンス並列性を持つ4GPU上での動作において,さらに3.91倍の高速化を実現している。

関連論文リスト

• Magic 1-For-1: Generating One Minute Video Clips within One Minute [53.07214657235465]
  メモリ消費と推論遅延を最適化した効率的なビデオ生成モデルMagic 1-For-1(Magic141)を提案する。 テスト時間スライディングウィンドウを適用することで、1分以内に1分間の動画を生成できるようになり、視覚的品質と動きのダイナミクスが大幅に向上した。
  論文  参考訳（メタデータ） (2025-02-11T16:58:15Z)
• Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity [59.80405282381126]
  拡散変換器(DiT)はビデオ生成を支配しているが、その高い計算コストは現実の応用性を著しく制限する。 Sparse VideoGen (SVG) と呼ばれる3次元フルアテンションに固有の空間を利用して推論効率を向上する学習自由フレームワークを提案する。 SVGはCagVideoX-v1.5とHunyuanVideoで最大2.28倍と2.33倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-03T19:29:16Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [52.32078428442281]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)
• Fast and Memory-Efficient Video Diffusion Using Streamlined Inference [41.505829393818274]
  現在のビデオ拡散モデルは、計算要求と高いピークメモリ使用量を示す。 本稿では,映像拡散モデルの時間的・空間的特性を利用したストリーム線形推論を提案する。 我々のアプローチはピークメモリと計算オーバーヘッドを大幅に削減し、単一のコンシューマGPU上で高品質なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-11-02T07:52:18Z)
• Video-Infinity: Distributed Long Video Generation [73.30145218077074]
  拡散モデルは近年,映像生成において顕著な成果を上げている。 提案手法は,約5分で最大2,300フレームの映像を生成し,従来の手法の100倍の速度で長大な映像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T01:56:12Z)
• DualFormer: Local-Global Stratified Transformer for Efficient Video Recognition [140.66371549815034]
  本稿では,映像認識のための時空間アテンションを効果的かつ効率的に行うことのできる,DualFormerと呼ばれる新しいトランスフォーマーアーキテクチャを提案する。 我々は、DualFormerがKinetics-400/600で新しい最先端の82.9%/85.2%のトップ-1の精度を1000Gの推論FLOPで設定していることを示す。
  論文  参考訳（メタデータ） (2021-12-09T03:05:19Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。