論文の概要: MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View
- arxiv url: http://arxiv.org/abs/2405.03894v2
- Date: Thu, 13 Jun 2024 00:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 23:06:20.313932
- Title: MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View
- Title(参考訳): MVDiff:シングルビューからの3Dオブジェクト再構成のためのスケーラブルでフレキシブルなマルチビュー拡散
- Authors: Emmanuelle Bourigault, Pauline Bourigault,
- Abstract要約: 本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。
提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generating consistent multiple views for 3D reconstruction tasks is still a challenge to existing image-to-3D diffusion models. Generally, incorporating 3D representations into diffusion model decrease the model's speed as well as generalizability and quality. This paper proposes a general framework to generate consistent multi-view images from single image or leveraging scene representation transformer and view-conditioned diffusion model. In the model, we introduce epipolar geometry constraints and multi-view attention to enforce 3D consistency. From as few as one image input, our model is able to generate 3D meshes surpassing baselines methods in evaluation metrics, including PSNR, SSIM and LPIPS.
- Abstract(参考訳): 3次元再構成タスクに対して一貫した複数のビューを生成することは、既存の画像から3次元の拡散モデルにとって依然として課題である。
一般に、3次元表現を拡散モデルに組み込むことで、モデルの速度と一般化可能性、品質が低下する。
本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。
モデルでは,3次元の一貫性を強制するために,エピポーラ幾何学的制約とマルチビューアテンションを導入する。
1つの画像入力から,PSNR,SSIM,LPIPSなどの評価指標において,ベースラインを超える3Dメッシュを生成することができる。
関連論文リスト
- MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。
オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。
実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
論文 参考訳(メタデータ) (2024-06-10T15:26:48Z) - Ouroboros3D: Image-to-3D Generation via 3D-aware Recursive Diffusion [43.07285784556328]
既存のイメージ・ツー・3D作成手法では、2段階のプロセスが一般的である。
マルチビュー画像生成と3D再構成を統合した,Ouroboros3Dという統合された3D生成フレームワークを導入する。
論文 参考訳(メタデータ) (2024-06-05T12:15:22Z) - Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。
我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
論文 参考訳(メタデータ) (2024-05-30T17:59:54Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳(メタデータ) (2024-04-04T17:59:57Z) - FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model [81.03553265684184]
FDGaussianは、シングルイメージ3D再構成のための新しい2段階フレームワークである。
最近の手法では、通常、事前訓練された2次元拡散モデルを用いて、入力画像から可塑性な新しいビューを生成する。
我々は,FDGaussianが様々な視点で高一貫性の画像を生成し,高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳(メタデータ) (2024-03-15T12:24:36Z) - EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion [60.30030562932703]
EpiDiffは、局所的なインタラクティブなマルチビュー拡散モデルである。
16枚のマルチビュー画像をわずか12秒で生成する。
品質評価の指標では、以前の手法を上回ります。
論文 参考訳(メタデータ) (2023-12-11T05:20:52Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳(メタデータ) (2022-11-17T20:17:04Z) - Novel View Synthesis with Diffusion Models [56.55571338854636]
本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。
単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。
3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
論文 参考訳(メタデータ) (2022-10-06T16:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。