論文の概要: IC3D: Image-Conditioned 3D Diffusion for Shape Generation
- arxiv url: http://arxiv.org/abs/2211.10865v1
- Date: Sun, 20 Nov 2022 04:21:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 20:16:53.445970
- Title: IC3D: Image-Conditioned 3D Diffusion for Shape Generation
- Title（参考訳）: IC3D:形状生成のための画像合成3次元拡散
- Authors: Cristian Sbrolli, Paolo Cudrano, Matteo Frosi, Matteo Matteucci
- Abstract要約: 画像誘導により3次元形状を生成する最初の3次元拡散モデルIC3Dを提案する。
また、Voxelsを3D表現として採用した最初の3D DDPMモデルでもある。
生成拡散モデルは,3次元生成品質と多様性の最先端性を上回っている。
- 参考スコア（独自算出の注目度）: 7.0895962209555465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the last years, Denoising Diffusion Probabilistic Models (DDPMs) obtained
state-of-the-art results in many generative tasks, outperforming GANs and other
classes of generative models. In particular, they reached impressive results in
various image generation sub-tasks, among which conditional generation tasks
such as text-guided image synthesis. Given the success of DDPMs in 2D
generation, they have more recently been applied to 3D shape generation,
outperforming previous approaches and reaching state-of-the-art results.
However, 3D data pose additional challenges, such as the choice of the 3D
representation, which impacts design choices and model efficiency. While
reaching state-of-the-art results in generation quality, existing 3D DDPM works
make little or no use of guidance, mainly being unconditional or
class-conditional. In this paper, we present IC3D, the first Image-Conditioned
3D Diffusion model that generates 3D shapes by image guidance. It is also the
first 3D DDPM model that adopts voxels as a 3D representation. To guide our
DDPM, we present and leverage CISP (Contrastive Image-Shape Pre-training), a
model jointly embedding images and shapes by contrastive pre-training, inspired
by text-to-image DDPM works. Our generative diffusion model outperforms the
state-of-the-art in 3D generation quality and diversity. Furthermore, we show
that our generated shapes are preferred by human evaluators to a SoTA
single-view 3D reconstruction model in terms of quality and coherence to the
query image by running a side-by-side human evaluation.
- Abstract（参考訳）: ここ数年、拡散確率モデル(DDPM)は、多くの生成タスクにおいて、GANやその他の生成モデルのクラスを上回る結果を得た。
特に、テキスト誘導画像合成などの条件付きタスクを含む様々な画像生成サブタスクにおいて、印象的な結果に達した。
2次元生成におけるDDPMの成功を考えると、より最近では3次元形状生成、従来の手法よりも優れ、最先端の結果に到達している。
しかし、3Dデータには、デザインの選択とモデル効率に影響を与える3D表現の選択など、さらなる課題が生じる。
従来の3D DDPMの作業では,非条件やクラス条件など,ほとんどあるいは全く指導を行なわなかった。
本稿では,画像誘導により3次元形状を生成する最初の画像合成3次元拡散モデルIC3Dを提案する。
また、Voxelsを3D表現として採用した最初の3D DDPMモデルでもある。
CISP(Contrastive Image-Shape Pre-Training)は,テキスト・ツー・イメージのDDPM作業にインスパイアされた,対照的な事前学習による画像と形状の埋め込みモデルである。
我々の生成拡散モデルは3次元生成品質と多様性の最先端性を上回る。
さらに,人間による評価を行うことで,生成した形状を検索画像の質と一貫性の観点から,somaの単視点3次元再構成モデルよりも好むことを示す。
関連論文リスト
- Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。
生成した2次元画像が基本形状と構造を保持することを保証するために,高品質な3次元モデルから導出される深度マップを制御信号として利用する。
3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
論文 参考訳（メタデータ） (2024-08-12T06:25:44Z) - GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-06-21T17:49:31Z) - LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。
彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。
生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
論文 参考訳（メタデータ） (2024-05-24T15:09:12Z) - NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳（メタデータ） (2024-03-19T03:39:43Z) - Can Shape-Infused Joint Embeddings Improve Image-Conditioned 3D
Diffusion? [5.0243930429558885]
本研究では,CISP(Contrastive Image Shape Pre Training)を紹介する。
CISPは、共有埋め込み空間で2Dイメージと3D形状を整列させることで、CLIPフレームワークの強化を目指している。
CISPは、CLIPを生成品質と多様性でマッチングする一方で、入力画像とのコヒーレンスを大幅に改善する。
論文 参考訳（メタデータ） (2024-02-02T09:09:23Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳（メタデータ） (2023-03-26T12:03:18Z) - 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。
これにより、多種多様な高品質な3D表面を生成できます。
論文 参考訳（メタデータ） (2022-12-01T20:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。