論文の概要: Vivid-ZOO: Multi-View Video Generation with Diffusion Model

• arxiv url: http://arxiv.org/abs/2406.08659v1
• Date: Wed, 12 Jun 2024 21:44:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 21:57:44.945117
• Title: Vivid-ZOO: Multi-View Video Generation with Diffusion Model
• Title（参考訳）: Vivid-ZOO:拡散モデルによるマルチビュー映像生成
• Authors: Bing Li, Cheng Zheng, Wenxuan Zhu, Jinjie Mai, Biao Zhang, Peter Wonka, Bernard Ghanem,
• Abstract要約: 新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 76.96449336578286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models have shown impressive performance in 2D image/video generation, diffusion-based Text-to-Multi-view-Video (T2MVid) generation remains underexplored. The new challenges posed by T2MVid generation lie in the lack of massive captioned multi-view videos and the complexity of modeling such multi-dimensional distribution. To this end, we propose a novel diffusion-based pipeline that generates high-quality multi-view videos centered around a dynamic 3D object from text. Specifically, we factor the T2MVid problem into viewpoint-space and time components. Such factorization allows us to combine and reuse layers of advanced pre-trained multi-view image and 2D video diffusion models to ensure multi-view consistency as well as temporal coherence for the generated multi-view videos, largely reducing the training cost. We further introduce alignment modules to align the latent spaces of layers from the pre-trained multi-view and the 2D video diffusion models, addressing the reused layers' incompatibility that arises from the domain gap between 2D and multi-view data. In support of this and future research, we further contribute a captioned multi-view video dataset. Experimental results demonstrate that our method generates high-quality multi-view videos, exhibiting vivid motions, temporal coherence, and multi-view consistency, given a variety of text prompts.
• Abstract（参考訳）: 拡散モデルは2次元画像/ビデオ生成において顕著な性能を示したが、拡散に基づくテキスト・ツー・マルチビュー・ビデオ(T2MVid)生成はいまだ探索されていない。 T2MVid生成による新たな課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布のモデル化の複雑さにある。 そこで本研究では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。 具体的には、T2MVid問題を視点空間と時間成分に分解する。 このような因子化により、先進的な事前学習されたマルチビュー画像と2次元ビデオ拡散モデルの層を組み合わせ再利用することで、生成したマルチビュービデオの時間的コヒーレンスを確保し、トレーニングコストを大幅に削減することができる。 さらに,事前学習したマルチビューと2次元ビデオ拡散モデルから,2次元データとマルチビューデータの領域ギャップから生じる再利用されたレイヤの不整合性に対処するアライメントモジュールを導入する。 これと今後の研究を支援するために、キャプション付きマルチビュービデオデータセットをさらに提供します。 実験により,様々なテキストプロンプトが与えられた場合,高画質なマルチビュービデオが生成され,鮮明な動き,時間的コヒーレンス,多視点一貫性が示された。

関連論文リスト

• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data [80.92268916571712]
  重要なボトルネックは、詳細なキャプションを持つ高品質な3Dオブジェクトの不足である。 本稿では,任意の量のマルチビュー画像を自動的に生成する新しいフレームワークBootstrap3Dを提案する。 我々は高画質合成多視点画像100万枚を高密度記述キャプションで生成した。
  論文  参考訳（メタデータ） (2024-05-31T17:59:56Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion [60.30030562932703]
  EpiDiffは、局所的なインタラクティブなマルチビュー拡散モデルである。 16枚のマルチビュー画像をわずか12秒で生成する。 品質評価の指標では、以前の手法を上回ります。
  論文  参考訳（メタデータ） (2023-12-11T05:20:52Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model [19.288610627281102]
  3次元レイアウトで制御されたリアルなマルチビュービデオを生成するために、DrivingDiffusionを提案する。 我々のモデルは複雑な都市のシーンで大規模でリアルなマルチカメラ駆動ビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-10-11T18:00:08Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)
• Versatile Diffusion: Text, Images and Variations All in One Diffusion Model [76.89932822375208]
  Versatile Diffusionは、テキスト・ツー・イメージ、画像・ツー・テキスト、バリエーションの複数のフローを1つの統一モデルで処理する。 私たちのコードとモデルはhttps://github.com/SHI-Labs/Versatile-Diffusion.comでオープンソース化されています。
  論文  参考訳（メタデータ） (2022-11-15T17:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。