論文の概要: Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile

• arxiv url: http://arxiv.org/abs/2502.06155v2
• Date: Mon, 17 Feb 2025 07:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:20.841300
• Title: Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile
• Title（参考訳）: 効率の良いvDiT:アテンションタイル付き高効率ビデオ拡散変換器
• Authors: Hangliang Ding, Dacheng Li, Runlong Su, Peiyuan Zhang, Zhijie Deng, Ion Stoica, Hao Zhang,
• Abstract要約: 3次元フルアテンションを持つ拡散変換器(DiT)は、注意計算の複雑さと多数のサンプリングステップにより、高価な推論に悩まされる。 本稿では,1)ビデオデータの冗長性に基づく3Dフルアテンションの抽出,2)既存の多段整合蒸留によるサンプリングプロセスの短縮,の2つの側面から非効率性の問題に対処する。
• 参考スコア（独自算出の注目度）: 28.913893318345384
• License:
• Abstract: Despite the promise of synthesizing high-fidelity videos, Diffusion Transformers (DiTs) with 3D full attention suffer from expensive inference due to the complexity of attention computation and numerous sampling steps. For example, the popular Open-Sora-Plan model consumes more than 9 minutes for generating a single video of 29 frames. This paper addresses the inefficiency issue from two aspects: 1) Prune the 3D full attention based on the redundancy within video data; We identify a prevalent tile-style repetitive pattern in the 3D attention maps for video data, and advocate a new family of sparse 3D attention that holds a linear complexity w.r.t. the number of video frames. 2) Shorten the sampling process by adopting existing multi-step consistency distillation; We split the entire sampling trajectory into several segments and perform consistency distillation within each one to activate few-step generation capacities. We further devise a three-stage training pipeline to conjoin the low-complexity attention and few-step generation capacities. Notably, with 0.1% pretraining data, we turn the Open-Sora-Plan-1.2 model into an efficient one that is 7.4x -7.8x faster for 29 and 93 frames 720p video generation with a marginal performance trade-off in VBench. In addition, we demonstrate that our approach is amenable to distributed inference, achieving an additional 3.91x speedup when running on 4 GPUs with sequence parallelism.
• Abstract（参考訳）: 高忠実度ビデオの合成の約束にもかかわらず、3Dフルアテンションを持つ拡散トランスフォーマー(DiT)は、注意計算の複雑さと多数のサンプリングステップのために、高価な推論に悩まされる。 例えば、人気のあるOpen-Sora-Planモデルは29フレームの単一のビデオを生成するために9分以上消費する。 本稿では2つの側面から非効率問題に対処する。 1) ビデオデータの冗長性に基づいて3Dをフルアテンションし,ビデオデータに対する3Dアテンションマップにおけるタイルスタイルの反復パターンを同定し,ビデオフレーム数に比例して線形複雑性を有する疎3Dアテンションの新たなファミリーを提唱する。 2) 既存の多段階連続蒸留を取り入れて, サンプリング過程を短縮し, サンプリング軌道全体を複数のセグメントに分割し, それぞれのセグメント内で整合蒸留を行い, 少数段階生成能力の活性化を図る。 さらに、低複雑さの注意と数ステップの世代能力とを結合する3段階のトレーニングパイプラインを考案する。 特に、0.1%の事前トレーニングデータを用いて、Open-Sora-Plan-1.2モデルを、29フレームと93フレームの720pビデオ生成において、7.4x-7.8倍高速で、VBenchでの限界性能トレードオフを伴う効率的なモデルに変換する。 さらに,提案手法は分散推論に適しており,シーケンス並列性を持つ4GPU上での動作において,さらに3.91倍の高速化を実現している。

関連論文リスト

• Fast and Memory-Efficient Video Diffusion Using Streamlined Inference [41.505829393818274]
  現在のビデオ拡散モデルは、計算要求と高いピークメモリ使用量を示す。 本稿では,映像拡散モデルの時間的・空間的特性を利用したストリーム線形推論を提案する。 我々のアプローチはピークメモリと計算オーバーヘッドを大幅に削減し、単一のコンシューマGPU上で高品質なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-11-02T07:52:18Z)
• LT3SD: Latent Trees for 3D Scene Diffusion [71.91446143124648]
  本稿では,大規模3次元シーン生成のための新しい潜時拡散モデルLT3SDを提案する。 大規模かつ高品質な非条件3Dシーン生成におけるLT3SDの有効性とメリットを実証する。
  論文  参考訳（メタデータ） (2024-09-12T16:55:51Z)
• Video-Infinity: Distributed Long Video Generation [73.30145218077074]
  拡散モデルは近年,映像生成において顕著な成果を上げている。 提案手法は,約5分で最大2,300フレームの映像を生成し,従来の手法の100倍の速度で長大な映像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T01:56:12Z)
• Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models [3.9373541926236766]
  本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。 我々は,スクラッチからでもスパースインプットビューからでも,わずか0.2秒で3Dシーンを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-06-18T23:14:29Z)
• DiTFastAttn: Attention Compression for Diffusion Transformer Models [26.095923502799664]
  拡散変換器(DiT)は画像および映像生成において優れるが、自己注意演算子による計算上の課題に直面している。 本稿では,DiTの計算ボトルネックを軽減するための後処理圧縮手法であるDiTFastAttnを提案する。 その結果,画像生成ではFLOPの最大76%を削減し,高分解能(2k x 2k)世代で最大1.8倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-12T18:00:08Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• DualFormer: Local-Global Stratified Transformer for Efficient Video Recognition [140.66371549815034]
  本稿では,映像認識のための時空間アテンションを効果的かつ効率的に行うことのできる,DualFormerと呼ばれる新しいトランスフォーマーアーキテクチャを提案する。 我々は、DualFormerがKinetics-400/600で新しい最先端の82.9%/85.2%のトップ-1の精度を1000Gの推論FLOPで設定していることを示す。
  論文  参考訳（メタデータ） (2021-12-09T03:05:19Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。