論文の概要: XDGAN: Multi-Modal 3D Shape Generation in 2D Space
- arxiv url: http://arxiv.org/abs/2210.03007v1
- Date: Thu, 6 Oct 2022 15:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 16:09:55.659950
- Title: XDGAN: Multi-Modal 3D Shape Generation in 2D Space
- Title(参考訳): XDGAN:2次元空間におけるマルチモーダル3次元形状生成
- Authors: Hassan Abu Alhaija, Alara Dirik, Andr\'e Kn\"orig, Sanja Fidler, Maria
Shugrina
- Abstract要約: 本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
- 参考スコア(独自算出の注目度): 60.46777591995821
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative models for 2D images has recently seen tremendous progress in
quality, resolution and speed as a result of the efficiency of 2D convolutional
architectures. However it is difficult to extend this progress into the 3D
domain since most current 3D representations rely on custom network components.
This paper addresses a central question: Is it possible to directly leverage 2D
image generative models to generate 3D shapes instead? To answer this, we
propose XDGAN, an effective and fast method for applying 2D image GAN
architectures to the generation of 3D object geometry combined with additional
surface attributes, like color textures and normals. Specifically, we propose a
novel method to convert 3D shapes into compact 1-channel geometry images and
leverage StyleGAN3 and image-to-image translation networks to generate 3D
objects in 2D space. The generated geometry images are quick to convert to 3D
meshes, enabling real-time 3D object synthesis, visualization and interactive
editing. Moreover, the use of standard 2D architectures can help bring more 2D
advances into the 3D realm. We show both quantitatively and qualitatively that
our method is highly effective at various tasks such as 3D shape generation,
single view reconstruction and shape manipulation, while being significantly
faster and more flexible compared to recent 3D generative models.
- Abstract(参考訳): 2d画像生成モデルは最近、2d畳み込みアーキテクチャの効率により、品質、解像度、速度が大幅に向上している。
しかし、現在の3D表現のほとんどはカスタムネットワークコンポーネントに依存しているため、この進歩を3Dドメインに拡張することは困難である。
2次元画像生成モデルを直接活用して,代わりに3次元形状を生成することは可能か?
そこで本研究では,XDGANを提案する。XDGANは2次元画像GANアーキテクチャを3次元オブジェクト形状の生成に適用し,カラーテクスチャや正規表現などの表面特性を付加する手法である。
具体的には,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何画像は素早く3dメッシュに変換し、リアルタイムの3dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
さらに、標準の2dアーキテクチャを使用することで、3d領域にさらに2dの進歩をもたらすことができる。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。
合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文 参考訳(メタデータ) (2023-03-21T17:59:02Z) - Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation [29.959223778769513]
本稿では,3D-to-2Dの模倣という新たな学習手法を提案する。
また、3D表現学習を改善するために、ジェネレータに3D対応の畳み込みを導入する。
その結果,FFHQとAFHQ-v2のFIDスコアは512×512でそれぞれ5.4点,AFHQ-v2 Catsでは4.3点に達した。
論文 参考訳(メタデータ) (2023-03-16T02:18:41Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - Learning geometry-image representation for 3D point cloud generation [5.3485743892868545]
本稿では、3次元点雲生成問題を2次元幾何画像生成問題に変換するための新しい幾何画像ベースジェネレータ(GIG)を提案する。
剛性および非剛性な3次元オブジェクトデータセットの実験により,本手法の有望な性能を実証した。
論文 参考訳(メタデータ) (2020-11-29T05:21:10Z) - Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D
Image GANs [156.1209884183522]
GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。
本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
論文 参考訳(メタデータ) (2020-11-02T09:38:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。