論文の概要: DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training

• arxiv url: http://arxiv.org/abs/2502.07590v1
• Date: Tue, 11 Feb 2025 14:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 18:22:48.191545
• Title: DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training
• Title（参考訳）: DSV:大規模ビデオDiTトレーニングを加速するためにダイナミックなスパシリティを爆発させる
• Authors: Xin Tan, Yuetao Chen, Yimin Jiang, Xing Chen, Kun Yan, Nan Duan, Yibo Zhu, Daxin Jiang, Hong Xu,
• Abstract要約: 拡散変換器(DiT)は、高品質なビデオのモデリングと生成において顕著な性能を示した。 本稿では,ビデオDiTのトレーニングを加速し,拡張するための新しいフレームワークであるDSVを紹介する。
• 参考スコア（独自算出の注目度）: 85.04885553561164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers (DiTs) have shown remarkable performance in modeling and generating high-quality videos. However, the quadratic computational complexity of 3D full attention mechanism presents significant challenges in scaling video DiT training, especially for high-definition and lengthy videos, where attention can dominate up to 95% of the end-to-end time and necessitate specialized communication paradigms to handle large input sizes. This paper introduces DSV, a novel framework designed to accelerate and scale the training of video DiTs by leveraging the inherent dynamic attention sparsity throughout the training process. DSV employs a two-stage training algorithm that exploits sparsity patterns, focusing on critical elements supported by efficient, tailored kernels. To accommodate the new sparsity dimension, we develop a hybrid sparsity-aware context parallelism that effectively scales to large inputs by addressing the heterogeneity of sparsity across attention heads and blocks, resulting in optimized sparse computation and communication. Extensive evaluations demonstrate that DSV achieves up to 3.02x gain in training throughput with nearly no quality degradation.
• Abstract（参考訳）: 拡散変換器(DiT)は、高品質なビデオのモデリングと生成において顕著な性能を示した。 しかし、3Dフルアテンション機構の二次計算複雑性は、特に高精細長ビデオにおいて、ビデオDiTトレーニングのスケーリングにおいて大きな課題を生じさせ、特に注意がエンド・ツー・エンド時間の最大95%を占め、大きな入力サイズを扱うために特別な通信パラダイムを必要とする。 本稿では,ビデオDiTのトレーニングを加速し,拡張する新しいフレームワークであるDSVを紹介する。 DSVは2段階のトレーニングアルゴリズムを採用しており、効率よく調整されたカーネルがサポートする重要な要素に焦点をあてている。 新しい疎度次元に対応するために、注意頭やブロック間の疎度の不均一性に対処し、スパース計算と通信を最適化することにより、大きな入力に効果的にスケールする、ハイブリッドな疎度対応コンテキスト並列性を開発する。 大規模な評価では、DSVはトレーニングのスループットが最大3.02倍向上し、ほぼ品質劣化が見られないことが示されている。

関連論文リスト

• Generating, Fast and Slow: Scalable Parallel Video Generation with Video Interface Networks [21.710127132217526]
  本稿では,ビデオ・インタフェース・ネットワーク (VIN) と呼ばれる新しいパラダイムを導入し,ビデオ・チャンクの並列推論を可能にする抽象化モジュールでDiTを拡張した。 VINは局所チャンクのノイズの多い入力と符号化された表現からグローバルセマンティクスをエンコードする。 フルジェネレーションよりも25～40%少ないFLOPを用いて,最先端動作のスムーズさを実現する。
  論文  参考訳（メタデータ） (2025-03-21T21:13:02Z)
• Training-free and Adaptive Sparse Attention for Efficient Long Video Generation [31.615453637053793]
  Diffusion Transformers (DiTs) による高忠実度長ビデオの生成は、しばしば大きな遅延によって妨げられる。 本稿では,最初の動的パターンとオンライン精密検索スパースアテンション手法であるAdaSpaを提案する。 AdaSpaは適応的なプラグアンドプレイソリューションとして実装されており、既存のDiTとシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-02-28T14:11:20Z)
• Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models [89.79067761383855]
  Vchitect-2.0は、大規模テキスト・ビデオ生成のためにビデオ拡散モデルをスケールアップするために設計された並列トランスフォーマーアーキテクチャである。 新たなマルチモーダル拡散ブロックを導入することで,テキスト記述と生成されたビデオフレームの整合性を実現する。 メモリと計算のボトルネックを克服するために,メモリ効率のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-14T21:53:11Z)
• ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
  本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。 潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。 適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
  論文  参考訳（メタデータ） (2024-10-27T16:28:28Z)
• DMVC: Multi-Camera Video Compression Network aimed at Improving Deep Learning Accuracy [22.871591373774802]
  ユビキタスビデオデータの時代に適した最先端のビデオ圧縮フレームワークを提案する。 人間の視覚知覚を優先する従来の圧縮手法とは異なり、我々の革新的なアプローチは、深層学習の精度に重要な意味情報の保存に重点を置いている。 設計されたディープラーニングアルゴリズムに基づいて、冗長性から必然的に重要な情報を分離し、機械学習タスクに最も関連性の高いデータの供給を確実にする。
  論文  参考訳（メタデータ） (2024-10-24T03:29:57Z)
• T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design [79.7289790249621]
  提案手法であるT2V-Turbo-v2は、様々な監視信号を統合することにより、大幅な進歩をもたらす。 特定の学習目標に対するデータセットの調整の重要性を強調した。 トレーニングデータセットから動作ガイダンスを抽出し,ODEソルバに組み込むことにより,このアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-10-08T04:30:06Z)
• V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
  V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。 私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。 モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
  論文  参考訳（メタデータ） (2024-09-20T16:54:27Z)
• Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs [112.39389727164594]
  テキスト・ツー・ビデオ(T2V)合成は,最近出現した拡散モデル (DM) が,過去のアプローチよりも有望な性能を示したコミュニティで注目を集めている。 既存の最先端のDMは高精細なビデオ生成を実現する能力があるが、ビデオ合成の要点である時間力学モデリングに関して重要な制限(例えば、アクション発生障害、粗雑なビデオ運動)に悩まされる。 本研究では,高品位T2V生成のためのDMの映像ダイナミックスに対する意識向上について検討する。
  論文  参考訳（メタデータ） (2023-08-26T08:31:48Z)
• SViTT: Temporal Learning of Sparse Video-Text Transformers [65.93031164906812]
  SViTTは,多フレーム推論が可能な疎ビデオテキストアーキテクチャであり,注目度の高い単純変換器よりもはるかに低コストである。 SViTTは、自己注意におけるトークン間のクエリキー通信を制限するエッジ空間と、非形式的視覚トークンを破棄する空間の2つの形式を採用している。
  論文  参考訳（メタデータ） (2023-04-18T08:17:58Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval [55.088635195893325]
  クロスビュービデオ検索のための最初の量子化表現学習法,すなわちHybrid Contrastive Quantization(HCQ)を提案する。 HCQは、粗粒度と微粒度の両方を変換器で学習し、テキストやビデオの補完的な理解を提供する。 3つのWebビデオベンチマークデータセットの実験により、HCQは最先端の非圧縮検索手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。