論文の概要: ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.01305v1
• Date: Sun, 3 Dec 2023 06:50:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 18:08:43.931322
• Title: ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models
• Title（参考訳）: ViVid-1-to-3:ビデオ拡散モデルによる新しいビュー合成
• Authors: Jeong-gi Kwak, Erqun Dong, Yuhe Jin, Hanseok Ko, Shweta Mahajan, Kwang Moo Yi
• Abstract要約: 単一のイメージからオブジェクトの新たなビューを生成することは、難しい作業です。 近年,拡散に基づくビュー合成法は大きな進歩を見せている。 本稿では,事前学習したビデオ拡散モデルを用いた簡単な方法を示す。
• 参考スコア（独自算出の注目度）: 33.760292331843104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating novel views of an object from a single image is a challenging task. It requires an understanding of the underlying 3D structure of the object from an image and rendering high-quality, spatially consistent new views. While recent methods for view synthesis based on diffusion have shown great progress, achieving consistency among various view estimates and at the same time abiding by the desired camera pose remains a critical problem yet to be solved. In this work, we demonstrate a strikingly simple method, where we utilize a pre-trained video diffusion model to solve this problem. Our key idea is that synthesizing a novel view could be reformulated as synthesizing a video of a camera going around the object of interest -- a scanning video -- which then allows us to leverage the powerful priors that a video diffusion model would have learned. Thus, to perform novel-view synthesis, we create a smooth camera trajectory to the target view that we wish to render, and denoise using both a view-conditioned diffusion model and a video diffusion model. By doing so, we obtain a highly consistent novel view synthesis, outperforming the state of the art.
• Abstract（参考訳）: 一つの画像からオブジェクトの新しいビューを生成するのは難しい作業です。 画像からオブジェクトの3D構造を理解し、高品質で空間的に一貫した新しいビューを描画する必要がある。 近年の拡散に基づくビュー合成手法は大きな進歩を遂げているものの、様々なビュー推定の一貫性の実現と、所望のカメラポーズによるアブレーションは、まだ解決されていない重要な課題である。 本研究では,この問題を解決するために,事前学習したビデオ拡散モデルを用いる,驚くほど単純な手法を示す。 私たちの重要なアイデアは、新しいビューの合成は、興味のあるオブジェクト(スキャンビデオ)を回るカメラのビデオの合成として再構成され、ビデオ拡散モデルが学習するであろう強力な優先事項を活用できる、というものだ。 そこで,新たな視点合成を行うために,映像拡散モデルと映像拡散モデルの両方を用いて,目標視点へのスムーズなカメラ軌跡を作成し,ノイズを解消する。 これにより、高度に一貫した新しいビュー合成が得られ、芸術の状態を上回ります。

関連論文リスト

• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• FSViewFusion: Few-Shots View Generation of Novel Objects [75.81872204650807]
  本研究では,3次元前処理を伴わないビュー合成のための事前訓練された安定拡散モデルを提案する。 具体的には,Dreamboothという画像モデルを用いたパーソナライズされたテキストに基づく手法を提案する。 ビューの概念は、ビューが学習された元のオブジェクトの識別に関係なく、アンタングル化され、新しいオブジェクトに転送可能であることを確認します。
  論文  参考訳（メタデータ） (2024-03-11T02:59:30Z)
• iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views [61.707755434165335]
  iFusionは、未知のカメラポーズを持つ2つのビューのみを必要とする、新しい3Dオブジェクト再構成フレームワークである。 我々は,様々な物体の形状や外観に関する暗黙の知識を組み込んだ,事前学習されたビュー合成拡散モデルを利用する。 ポーズ推定と新しいビュー合成の両方において、実験は強い性能を示す。
  論文  参考訳（メタデータ） (2023-12-28T18:59:57Z)
• DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views [20.685453627120832]
  既存の手法では、品質の高い結果を生成するのに苦労したり、オブジェクトごとの最適化が必要な場合が少なくない。 DreamSparseは、オブジェクトレベルの画像とシーンレベルの画像の両方に対して高品質なノベルビューを合成することができる。
  論文  参考訳（メタデータ） (2023-06-06T05:26:26Z)
• Consistent View Synthesis with Pose-Guided Diffusion Models [51.37925069307313]
  単一の画像から新しいビューを合成することは、多くのバーチャルリアリティーアプリケーションにとって画期的な問題である。 本稿では,ポーズ誘導拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-30T17:59:22Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。