論文の概要: IC3D: Image-Conditioned 3D Diffusion for Shape Generation
- arxiv url: http://arxiv.org/abs/2211.10865v2
- Date: Fri, 31 Mar 2023 18:43:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 00:10:02.420377
- Title: IC3D: Image-Conditioned 3D Diffusion for Shape Generation
- Title(参考訳): IC3D:形状生成のための画像合成3次元拡散
- Authors: Cristian Sbrolli, Paolo Cudrano, Matteo Frosi, Matteo Matteucci
- Abstract要約: IC3Dはイメージガイドにより3次元形状を生成する3次元拡散モデルである。
コントラスト画像-形状事前学習(Contrastive Image-Shape Pre-training)は、コントラスト画像と形状をコントラスト事前学習により結合的に埋め込むモデルである。
生成拡散モデルは,3次元生成品質と多様性の最先端性を上回っている。
- 参考スコア(独自算出の注目度): 7.0895962209555465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the last years, Denoising Diffusion Probabilistic Models (DDPMs) obtained
state-of-the-art results in many generative tasks, outperforming GANs and other
classes of generative models. In particular, they reached impressive results in
various image generation sub-tasks, among which conditional generation tasks
such as text-guided image synthesis. Given the success of DDPMs in 2D
generation, they have more recently been applied to 3D shape generation,
outperforming previous approaches and reaching state-of-the-art results.
However, these existing 3D DDPM works make little or no use of guidance, mainly
being unconditional or class-conditional. In this work, we present IC3D, an
Image-Conditioned 3D Diffusion model that generates 3D shapes by image
guidance. To guide our DDPM, we introduce CISP (Contrastive Image-Shape
Pre-training), a model jointly embedding images and shapes by contrastive
pre-training, inspired by the literature on text-to-image DDPMs. Our generative
diffusion model outperforms the state-of-the-art in 3D generation quality and
diversity. Furthermore, despite IC3D generative nature, we show that its
generated shapes are preferred by human evaluators to a SoTA single-view 3D
reconstruction model in terms of quality and coherence to the query image by
running a side-by-side human evaluation. Ablation studies show the importance
of CISP for learning structural integrity properties, crucial for realistic
generation. Such biases yield a regular embedding space and allow for
interpolation and conditioning on out-of-distribution images, while also making
IC3D capable of generating coherent but diverse completions of occluded views
and enabling its adoption in controlled real-life applications.
- Abstract(参考訳): ここ数年、拡散確率モデル(DDPM)は、多くの生成タスクにおいて、GANやその他の生成モデルのクラスを上回る結果を得た。
特に、テキスト誘導画像合成などの条件付きタスクを含む様々な画像生成サブタスクにおいて、印象的な結果に達した。
2次元生成におけるDDPMの成功を考えると、より最近では3次元形状生成、従来の手法よりも優れ、最先端の結果に到達している。
しかし、これらの既存の3D DDPM作業は、主に無条件またはクラス条件のガイダンスをほとんど、あるいは全く利用しない。
本研究では,画像誘導により3次元形状を生成する3次元拡散モデルic3dを提案する。
CISP(Contrastive Image-Shape Pre-Training)は,テキストから画像へのDDPMに関する文献から着想を得た,コントラスト的な事前学習による画像と形状の埋め込みモデルである。
我々の生成拡散モデルは3次元生成品質と多様性の最先端性を上回る。
さらに,IC3D生成特性にも拘わらず,人間の評価により生成した形状が,クエリ画像の品質とコヒーレンスの観点から,SoTAの単一ビュー3D再構成モデルよりも好まれることを示す。
アブレーション研究は、構造的整合性を学ぶためにCISPが重要であることを示している。
このようなバイアスは正規な埋め込み空間をもたらし、分布外画像の補間と条件付けを可能にし、IC3Dは閉鎖されたビューのコヒーレントで多様な補完を発生させ、制御された現実のアプリケーションにその適用を可能にする。
関連論文リスト
- NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-27T04:09:34Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳(メタデータ) (2024-03-19T03:39:43Z) - Can Shape-Infused Joint Embeddings Improve Image-Conditioned 3D
Diffusion? [5.0243930429558885]
本研究では,CISP(Contrastive Image Shape Pre Training)を紹介する。
CISPは、共有埋め込み空間で2Dイメージと3D形状を整列させることで、CLIPフレームワークの強化を目指している。
CISPは、CLIPを生成品質と多様性でマッチングする一方で、入力画像とのコヒーレンスを大幅に改善する。
論文 参考訳(メタデータ) (2024-02-02T09:09:23Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳(メタデータ) (2023-03-26T12:03:18Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。
これにより、多種多様な高品質な3D表面を生成できます。
論文 参考訳(メタデータ) (2022-12-01T20:00:00Z) - Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。
本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。
本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-15T08:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。