論文の概要: ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation

• arxiv url: http://arxiv.org/abs/2406.00908v1
• Date: Mon, 3 Jun 2024 00:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 02:47:03.276236
• Title: ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation
• Title（参考訳）: ZeroSmooth: 高フレームレートビデオ生成のためのトレーニング不要ディフューザ適応
• Authors: Shaoshu Yang, Yong Zhang, Xiaodong Cun, Ying Shan, Ran He,
• Abstract要約: 本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
• 参考スコア（独自算出の注目度）: 81.90265212988844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation has made remarkable progress in recent years, especially since the advent of the video diffusion models. Many video generation models can produce plausible synthetic videos, e.g., Stable Video Diffusion (SVD). However, most video models can only generate low frame rate videos due to the limited GPU memory as well as the difficulty of modeling a large set of frames. The training videos are always uniformly sampled at a specified interval for temporal compression. Previous methods promote the frame rate by either training a video interpolation model in pixel space as a postprocessing stage or training an interpolation model in latent space for a specific base video model. In this paper, we propose a training-free video interpolation method for generative video diffusion models, which is generalizable to different models in a plug-and-play manner. We investigate the non-linearity in the feature space of video diffusion models and transform a video model into a self-cascaded video diffusion model with incorporating the designed hidden state correction modules. The self-cascaded architecture and the correction module are proposed to retain the temporal consistency between key frames and the interpolated frames. Extensive evaluations are preformed on multiple popular video models to demonstrate the effectiveness of the propose method, especially that our training-free method is even comparable to trained interpolation models supported by huge compute resources and large-scale datasets.
• Abstract（参考訳）: ビデオ生成は、特にビデオ拡散モデルの出現以来、近年顕著な進歩を遂げている。 多くのビデオ生成モデルは、可塑性合成ビデオ(例えば、安定ビデオ拡散(SVD))を作成できる。 しかし、ほとんどのビデオモデルは、GPUメモリが限られているだけでなく、大規模なフレームセットのモデリングが難しいため、低フレームレートのビデオしか生成できない。 トレーニングビデオは常に時間圧縮のために指定された間隔で一様にサンプリングされる。 以前の方法は、画素空間におけるビデオ補間モデルを後処理段階として訓練するか、特定のベースビデオモデルに対して潜時空間における補間モデルを訓練することでフレームレートを促進させる。 本稿では,プラグイン・アンド・プレイ方式で異なるモデルに一般化可能な生成ビデオ拡散モデルの学習自由なビデオ補間法を提案する。 ビデオ拡散モデルの特徴空間における非線形性について検討し、設計した隠れ状態補正モジュールを組み込んだ自己カスケード映像拡散モデルに変換する。 鍵フレームと補間フレーム間の時間的一貫性を維持するために,自己カスケードアーキテクチャと修正モジュールを提案する。 提案手法の有効性を実証するために,複数の人気ビデオモデル上で大規模な評価を行い,特に,大規模な計算資源と大規模データセットによって支援された訓練型補間モデルに匹敵する訓練自由な手法を提案する。

関連論文リスト

• Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training [51.851390459940646]
  我々は、微調整なしで事前訓練されたビデオ拡散モデルでカメラ制御が可能なLatent-Reframeを紹介した。 Latent-Reframeはサンプリング段階で動作し、オリジナルのモデル分布を維持しながら効率を維持する。 当社のアプローチでは,ビデオフレームの潜在コードを再設計し,タイムアウェアな点雲を通して入力カメラ軌跡と整合する。
  論文  参考訳（メタデータ） (2024-12-08T18:59:54Z)
• Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation [60.27691946892796]
  本稿では,一対の入力キーフレーム間のコヒーレントな動きで映像列を生成する手法を提案する。 実験の結果,本手法は既存の拡散法と従来のフレーム技術の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-08-27T17:57:14Z)
• SF-V: Single Forward Video Generation Model [57.292575082410785]
  そこで本稿では,単段階ビデオ生成モデルを得るための新しい手法を提案する。 実験により,提案手法は計算オーバーヘッドを大幅に低減した合成ビデオの競合生成品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:27Z)
• VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models [76.85329896854189]
  高品質なビデオモデルを実現するために,低品質な映像の活用と高品質な画像の合成の実現可能性について検討する。 我々は、高画質の映像で空間モジュールを微調整することにより、動きの劣化を伴わずに高画質に分布をシフトし、その結果、総称的な高品質な映像モデルを得る。
  論文  参考訳（メタデータ） (2024-01-17T08:30:32Z)
• BIVDiff: A Training-Free Framework for General-Purpose Video Synthesis via Bridging Image and Video Diffusion Models [40.73982918337828]
  本稿では,bf BIVDiffと呼ばれるトレーニング不要な汎用ビデオ合成フレームワークを提案する。 具体的には、まず、フレームワイドビデオ生成に特定の画像拡散モデル(例えば、ControlNetとInstruct Pix2Pix)を使用し、その後、生成されたビデオ上でMixed Inversionを行い、最後に、反転潜時をビデオ拡散モデルに入力する。
  論文  参考訳（メタデータ） (2023-12-05T14:56:55Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• Imagen Video: High Definition Video Generation with Diffusion Models [64.06483414521222]
  Imagen Videoは、ビデオ拡散モデルのカスケードに基づくテキスト条件付きビデオ生成システムである。 我々は高精細度ビデオを生成することができるが、高い可制御性と世界的知識を持つ画像n Videoを見いだす。
  論文  参考訳（メタデータ） (2022-10-05T14:41:38Z)
• Video Diffusion Models [47.99413440461512]
  時間的コヒーレントな高忠実度ビデオの生成は、生成モデリング研究において重要なマイルストーンである。 本稿では,ビデオ生成のための拡散モデルを提案する。 そこで本研究では,テキスト条件付きビデオ生成タスクにおける最初の結果と,未条件のビデオ生成ベンチマークにおける最新結果について述べる。
  論文  参考訳（メタデータ） (2022-04-07T14:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。