論文の概要: DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training

• arxiv url: http://arxiv.org/abs/2502.07590v1
• Date: Tue, 11 Feb 2025 14:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:30.544538
• Title: DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training
• Title（参考訳）: DSV:大規模ビデオDiTトレーニングを加速するためにダイナミックなスパシリティを爆発させる
• Authors: Xin Tan, Yuetao Chen, Yimin Jiang, Xing Chen, Kun Yan, Nan Duan, Yibo Zhu, Daxin Jiang, Hong Xu,
• Abstract要約: 拡散変換器(DiT)は、高品質なビデオのモデリングと生成において顕著な性能を示した。 本稿では,ビデオDiTのトレーニングを加速し,拡張するための新しいフレームワークであるDSVを紹介する。
• 参考スコア（独自算出の注目度）: 85.04885553561164
• License:
• Abstract: Diffusion Transformers (DiTs) have shown remarkable performance in modeling and generating high-quality videos. However, the quadratic computational complexity of 3D full attention mechanism presents significant challenges in scaling video DiT training, especially for high-definition and lengthy videos, where attention can dominate up to 95% of the end-to-end time and necessitate specialized communication paradigms to handle large input sizes. This paper introduces DSV, a novel framework designed to accelerate and scale the training of video DiTs by leveraging the inherent dynamic attention sparsity throughout the training process. DSV employs a two-stage training algorithm that exploits sparsity patterns, focusing on critical elements supported by efficient, tailored kernels. To accommodate the new sparsity dimension, we develop a hybrid sparsity-aware context parallelism that effectively scales to large inputs by addressing the heterogeneity of sparsity across attention heads and blocks, resulting in optimized sparse computation and communication. Extensive evaluations demonstrate that DSV achieves up to 3.02x gain in training throughput with nearly no quality degradation.
• Abstract（参考訳）: 拡散変換器(DiT)は、高品質なビデオのモデリングと生成において顕著な性能を示した。 しかし、3Dフルアテンション機構の二次計算複雑性は、特に高精細長ビデオにおいて、ビデオDiTトレーニングのスケーリングにおいて大きな課題を生じさせ、特に注意がエンド・ツー・エンド時間の最大95%を占め、大きな入力サイズを扱うために特別な通信パラダイムを必要とする。 本稿では,ビデオDiTのトレーニングを加速し,拡張する新しいフレームワークであるDSVを紹介する。 DSVは2段階のトレーニングアルゴリズムを採用しており、効率よく調整されたカーネルがサポートする重要な要素に焦点をあてている。 新しい疎度次元に対応するために、注意頭やブロック間の疎度の不均一性に対処し、スパース計算と通信を最適化することにより、大きな入力に効果的にスケールする、ハイブリッドな疎度対応コンテキスト並列性を開発する。 大規模な評価では、DSVはトレーニングのスループットが最大3.02倍向上し、ほぼ品質劣化が見られないことが示されている。

関連論文リスト

• ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
  本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。 潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。 適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
  論文  参考訳（メタデータ） (2024-10-27T16:28:28Z)
• DMVC: Multi-Camera Video Compression Network aimed at Improving Deep Learning Accuracy [22.871591373774802]
  ユビキタスビデオデータの時代に適した最先端のビデオ圧縮フレームワークを提案する。 人間の視覚知覚を優先する従来の圧縮手法とは異なり、我々の革新的なアプローチは、深層学習の精度に重要な意味情報の保存に重点を置いている。 設計されたディープラーニングアルゴリズムに基づいて、冗長性から必然的に重要な情報を分離し、機械学習タスクに最も関連性の高いデータの供給を確実にする。
  論文  参考訳（メタデータ） (2024-10-24T03:29:57Z)
• T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design [79.7289790249621]
  提案手法であるT2V-Turbo-v2は、様々な監視信号を統合することにより、大幅な進歩をもたらす。 特定の学習目標に対するデータセットの調整の重要性を強調した。 トレーニングデータセットから動作ガイダンスを抽出し,ODEソルバに組み込むことにより,このアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-10-08T04:30:06Z)
• ViR: Towards Efficient Vision Retention Backbones [97.93707844681893]
  視覚保持ネットワーク(ViR)と呼ばれる新しいコンピュータビジョンモデルを提案する。 ViRは並列および繰り返しの定式化を持ち、高速推論と並列トレーニングと競合性能の最適なバランスをとる。 我々は,様々なデータセットサイズと様々な画像解像度を用いた広範囲な実験により,ViRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T16:55:50Z)
• Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs [112.39389727164594]
  テキスト・ツー・ビデオ(T2V)合成は,最近出現した拡散モデル (DM) が,過去のアプローチよりも有望な性能を示したコミュニティで注目を集めている。 既存の最先端のDMは高精細なビデオ生成を実現する能力があるが、ビデオ合成の要点である時間力学モデリングに関して重要な制限(例えば、アクション発生障害、粗雑なビデオ運動)に悩まされる。 本研究では,高品位T2V生成のためのDMの映像ダイナミックスに対する意識向上について検討する。
  論文  参考訳（メタデータ） (2023-08-26T08:31:48Z)
• Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval [55.088635195893325]
  クロスビュービデオ検索のための最初の量子化表現学習法,すなわちHybrid Contrastive Quantization(HCQ)を提案する。 HCQは、粗粒度と微粒度の両方を変換器で学習し、テキストやビデオの補完的な理解を提供する。 3つのWebビデオベンチマークデータセットの実験により、HCQは最先端の非圧縮検索手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:04:10Z)
• Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions [31.4943447481144]
  本稿では,共同学習と言語学習(VL)について検討し,モダリティ間の学習を可能とし,多くの下流作業に役立てる。 本モデルでは,10の理解タスクと2の新たなテキスト・ビジュアル生成タスクを実現する。
  論文  参考訳（メタデータ） (2021-11-19T17:36:01Z)
• HIVE-Net: Centerline-Aware HIerarchical View-Ensemble Convolutional Network for Mitochondria Segmentation in EM Images [3.1498833540989413]
  より効率的な2次元畳み込みを用いた3次元空間コンテキスト学習のための新しい階層型ビューアンサンブル畳み込み(HVEC)を提案する。 提案手法は, 精度と画質は良好だが, モデルサイズは大幅に小さく, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-01-08T06:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。