論文の概要: AccVideo: Accelerating Video Diffusion Model with Synthetic Dataset

• arxiv url: http://arxiv.org/abs/2503.19462v1
• Date: Tue, 25 Mar 2025 08:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:55:21.942048
• Title: AccVideo: Accelerating Video Diffusion Model with Synthetic Dataset
• Title（参考訳）: AccVideo: 合成データセットによるビデオ拡散モデルの高速化
• Authors: Haiyu Zhang, Xinyuan Chen, Yaohui Wang, Xihui Liu, Yunhong Wang, Yu Qiao,
• Abstract要約: 合成データセットを用いたビデオ拡散モデルの高速化のための推論ステップを削減するために,AccVideoを提案する。 本モデルでは,教師モデルに比べて生成速度が8.5倍向上した。 従来の高速化手法と比較して,より高品質で解像度の高いビデオを生成することができる。
• 参考スコア（独自算出の注目度）: 55.82208863521353
• License:
• Abstract: Diffusion models have achieved remarkable progress in the field of video generation. However, their iterative denoising nature requires a large number of inference steps to generate a video, which is slow and computationally expensive. In this paper, we begin with a detailed analysis of the challenges present in existing diffusion distillation methods and propose a novel efficient method, namely AccVideo, to reduce the inference steps for accelerating video diffusion models with synthetic dataset. We leverage the pretrained video diffusion model to generate multiple valid denoising trajectories as our synthetic dataset, which eliminates the use of useless data points during distillation. Based on the synthetic dataset, we design a trajectory-based few-step guidance that utilizes key data points from the denoising trajectories to learn the noise-to-video mapping, enabling video generation in fewer steps. Furthermore, since the synthetic dataset captures the data distribution at each diffusion timestep, we introduce an adversarial training strategy to align the output distribution of the student model with that of our synthetic dataset, thereby enhancing the video quality. Extensive experiments demonstrate that our model achieves 8.5x improvements in generation speed compared to the teacher model while maintaining comparable performance. Compared to previous accelerating methods, our approach is capable of generating videos with higher quality and resolution, i.e., 5-seconds, 720x1280, 24fps.
• Abstract（参考訳）: 拡散モデルはビデオ生成の分野で顕著な進歩を遂げた。 しかし、その反復的なデノベーションの性質は、ビデオを生成するために多くの推論ステップを必要とし、遅くて計算コストがかかる。 本稿では,既存の拡散蒸留法における課題の詳細な分析から始め,合成データセットを用いたビデオ拡散モデルの高速化のための推論ステップを削減するために,新しい効率的な手法であるAccVideoを提案する。 我々は,事前学習したビデオ拡散モデルを用いて,複数の有効な認知軌跡を合成データセットとして生成し,蒸留における無駄なデータポイントの使用を排除した。 合成データセットに基づいて、ノイズ・ツー・ビデオのマッピングを学習し、より少ないステップでの映像生成を可能にするために、ノイズ・ツー・ビデオ・マッピングから重要データポイントを利用するトラジェクトリベースの数ステップガイダンスを設計する。 さらに, 合成データセットは, 各拡散段階におけるデータ分布をキャプチャするので, 学生モデルの出力分布と合成データセットの出力分布の整合性を図り, 映像品質を向上させるための対角的トレーニング戦略を導入する。 大規模な実験により,本モデルでは,教師モデルに比べ,生成速度が8.5倍向上し,比較性能が向上した。 従来の高速化手法と比較して,5秒,720x1280,24fpsの高画質ビデオを生成することができる。

関連論文リスト

• Accelerating Video Diffusion Models via Distribution Matching [26.475459912686986]
  本研究は, 拡散蒸留と分散マッチングのための新しい枠組みを導入する。 提案手法は, 事前学習した拡散モデルをより効率的な数ステップ生成器に蒸留することに焦点を当てる。 ビデオGAN損失と新しい2Dスコア分布マッチング損失の組合せを利用して、高品質なビデオフレームを生成する可能性を実証する。
  論文  参考訳（メタデータ） (2024-12-08T11:36:32Z)
• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Video DataFlywheel: Resolving the Impossible Data Trinity in Video-Language Understanding [61.89781979702939]
  本研究では,事前学習データセットにおけるデータ量,多様性,品質の「不可能トリニティ」を定量的に明らかにする。 近年の取り組みは、合成アノテーションによって低品質で妥協された大規模で多様なASRデータセットを改良することを目指している。 我々は,ビデオアノテーションを改良されたノイズコントロール手法で反復的に洗練するVideo DataFlywheelフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-09-29T03:33:35Z)
• SF-V: Single Forward Video Generation Model [57.292575082410785]
  そこで本稿では,単段階ビデオ生成モデルを得るための新しい手法を提案する。 実験により,提案手法は計算オーバーヘッドを大幅に低減した合成ビデオの競合生成品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:27Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
  我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。 本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。 提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-03-21T02:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。