論文の概要: Noise Crystallization and Liquid Noise: Zero-shot Video Generation using Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.05322v1
• Date: Sat, 5 Oct 2024 12:53:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:27:19.036075
• Title: Noise Crystallization and Liquid Noise: Zero-shot Video Generation using Image Diffusion Models
• Title（参考訳）: ノイズの結晶化と液体ノイズ:画像拡散モデルによるゼロショット映像生成
• Authors: Muhammad Haaris Khan, Hadrien Reynaud, Bernhard Kainz,
• Abstract要約: ビデオモデルは広範なトレーニングと計算資源を必要とし、高いコストと環境への影響をもたらす。 本稿では、画像拡散モデルを拡張して、細部を保ちながら連続的なアニメーションフレームを作成することによって、映像生成に新たなアプローチを提案する。
• 参考スコア（独自算出の注目度）: 6.408114351192012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although powerful for image generation, consistent and controllable video is a longstanding problem for diffusion models. Video models require extensive training and computational resources, leading to high costs and large environmental impacts. Moreover, video models currently offer limited control of the output motion. This paper introduces a novel approach to video generation by augmenting image diffusion models to create sequential animation frames while maintaining fine detail. These techniques can be applied to existing image models without training any video parameters (zero-shot) by altering the input noise in a latent diffusion model. Two complementary methods are presented. Noise crystallization ensures consistency but is limited to large movements due to reduced latent embedding sizes. Liquid noise trades consistency for greater flexibility without resolution limitations. The core concepts also allow other applications such as relighting, seamless upscaling, and improved video style transfer. Furthermore, an exploration of the VAE embedding used for latent diffusion models is performed, resulting in interesting theoretical insights such as a method for human-interpretable latent spaces.
• Abstract（参考訳）: 画像生成には強力だが、一貫性があり、制御可能なビデオは、拡散モデルの長年の問題である。 ビデオモデルは広範なトレーニングと計算資源を必要とし、高いコストと環境への影響をもたらす。 さらに、現在ビデオモデルは出力運動の限られた制御を提供する。 本稿では、画像拡散モデルを拡張して、細部を保ちながら連続的なアニメーションフレームを作成することによって、映像生成に新たなアプローチを提案する。 これらの手法は、遅延拡散モデルにおける入力ノイズを変化させることで、ビデオパラメータ(ゼロショット)を訓練することなく、既存の画像モデルに適用することができる。 2つの補完方法が提示される。 ノイズ結晶化は、一貫性を保証するが、遅延埋め込みサイズが小さくなるため、大きな動きに制限される。 液体ノイズは、解像度の制限なしに、より高い柔軟性のために一貫性を交換する。 コアコンセプトは、リライト、シームレスなアップスケーリング、ビデオスタイルの転送の改善といった他のアプリケーションも可能にする。 さらに,潜伏拡散モデルに用いるVAE埋め込みの探索を行い,人間の解釈可能な潜伏空間の手法のような興味深い理論的考察を行った。

関連論文リスト

• Video Diffusion Models are Strong Video Inpainter [14.402778136825642]
  本稿では,FFF-VDI (First Frame Filling Video Diffusion Inpainting Model) を提案する。 我々は、将来のフレームのノイズ潜時情報を伝播して、第1フレームのノイズ潜時符号のマスク領域を埋める。 次に,事前学習した画像間拡散モデルを微調整し,インペイント映像を生成する。
  論文  参考訳（メタデータ） (2024-08-21T08:01:00Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition [124.41196697408627]
  本稿では,映像生成のための事前学習画像拡散モデルの拡張として,コンテントモーション潜時拡散モデル(CMD)を提案する。 CMDは、映像を(画像のような)コンテンツフレームと低次元モーションラテント表現の組み合わせとしてエンコードする。 我々は、予め訓練された画像拡散モデルを微調整し、コンテンツフレームを生成し、新しい軽量拡散モデルをトレーニングすることで、動き潜在表現を生成する。
  論文  参考訳（メタデータ） (2024-03-21T05:48:48Z)
• Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation [112.08287900261898]
  本稿では,高解像度画像への高速適応と映像生成のための新しい自己カスケード拡散モデルを提案する。 提案手法は5Xトレーニングの高速化を実現し,さらに0.002Mのチューニングパラメータしか必要としない。 実験により,提案手法は10kステップの微調整によって高速に高分解能画像やビデオ合成に適応できることを示した。
  論文  参考訳（メタデータ） (2024-02-16T07:48:35Z)
• BIVDiff: A Training-Free Framework for General-Purpose Video Synthesis via Bridging Image and Video Diffusion Models [40.73982918337828]
  本稿では,bf BIVDiffと呼ばれるトレーニング不要な汎用ビデオ合成フレームワークを提案する。 具体的には、まず、フレームワイドビデオ生成に特定の画像拡散モデル(例えば、ControlNetとInstruct Pix2Pix)を使用し、その後、生成されたビデオ上でMixed Inversionを行い、最後に、反転潜時をビデオ拡散モデルに入力する。
  論文  参考訳（メタデータ） (2023-12-05T14:56:55Z)
• Infusion: internal diffusion for inpainting of dynamic textures and complex motion [4.912318087940015]
  ビデオの塗装は、ビデオ内の領域を視覚的に説得力のある方法で埋める作業である。 拡散モデルは、画像やビデオを含む複雑なデータ分散をモデル化する際、印象的な結果を示している。 ビデオインペイントの場合,ビデオの自己相似性が高いため,拡散モデルのトレーニングデータは入力ビデオに制限され,満足な結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-02T08:55:11Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
  低次元ラテント空間を用いた軽量映像拡散モデルを提案する。 また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。 我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
  論文  参考訳（メタデータ） (2022-11-23T18:58:39Z)
• Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise [52.59444045853966]
  画像劣化の選択を変更すれば,生成モデル全体のファミリを構築することができることを示す。 完全な決定論的モデルの成功は、拡散モデルに対するコミュニティの理解に疑問を投げかける。
  論文  参考訳（メタデータ） (2022-08-19T15:18:39Z)
• On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models [27.472482893004862]
  条件付き画像生成は、画像編集、ストック写真の生成、および3Dオブジェクト生成におけるいくつかのブレークスルーの道を開いた。 本研究では,入出力ノイズアーチファクトを慎重に構築した条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-08T13:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。