論文の概要: LION: Latent Point Diffusion Models for 3D Shape Generation
- arxiv url: http://arxiv.org/abs/2210.06978v1
- Date: Wed, 12 Oct 2022 08:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 14:03:16.821954
- Title: LION: Latent Point Diffusion Models for 3D Shape Generation
- Title(参考訳): lion: 3次元形状生成のための潜点拡散モデル
- Authors: Xiaohui Zeng, Arash Vahdat, Francis Williams, Zan Gojcic, Or Litany,
Sanja Fidler, Karsten Kreis
- Abstract要約: 3次元形状生成のための階層的潜在点拡散モデル(LION)を導入する。
LION は、大域的なラテント表現と点構造ラテント空間を組み合わせた階層ラテント空間を持つ変分オートエンコーダ (VAE) として設定される。
実験的に、LIONは複数のShapeNetベンチマークで最先端の生成性能を達成する。
- 参考スコア(独自算出の注目度): 80.07575067829141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models (DDMs) have shown promising results in 3D point
cloud synthesis. To advance 3D DDMs and make them useful for digital artists,
we require (i) high generation quality, (ii) flexibility for manipulation and
applications such as conditional synthesis and shape interpolation, and (iii)
the ability to output smooth surfaces or meshes. To this end, we introduce the
hierarchical Latent Point Diffusion Model (LION) for 3D shape generation. LION
is set up as a variational autoencoder (VAE) with a hierarchical latent space
that combines a global shape latent representation with a point-structured
latent space. For generation, we train two hierarchical DDMs in these latent
spaces. The hierarchical VAE approach boosts performance compared to DDMs that
operate on point clouds directly, while the point-structured latents are still
ideally suited for DDM-based modeling. Experimentally, LION achieves
state-of-the-art generation performance on multiple ShapeNet benchmarks.
Furthermore, our VAE framework allows us to easily use LION for different
relevant tasks: LION excels at multimodal shape denoising and voxel-conditioned
synthesis, and it can be adapted for text- and image-driven 3D generation. We
also demonstrate shape autoencoding and latent shape interpolation, and we
augment LION with modern surface reconstruction techniques to generate smooth
3D meshes. We hope that LION provides a powerful tool for artists working with
3D shapes due to its high-quality generation, flexibility, and surface
reconstruction. Project page and code: https://nv-tlabs.github.io/LION.
- Abstract(参考訳): 拡散モデル(DDM)は3次元点雲合成において有望な結果を示した。
3D DDMを進化させ、デジタルアーティストに役立てるためには
(i)高世代品質
二 条件合成及び形状補間等の操作及び応用の柔軟性及び
(iii)滑らかな表面やメッシュを出力できる能力。
そこで我々は3次元形状生成のための階層的潜在点拡散モデル(LION)を提案する。
LIONは、大域的なラテント表現と点構造ラテント空間を組み合わせた階層ラテント空間を持つ変分オートエンコーダ(VAE)として設定される。
これらの潜在空間において2つの階層的ddmを訓練する。
階層的VAEアプローチは、ポイントクラウド上で直接動作するDDMと比較してパフォーマンスを向上するが、ポイント構造化ラテントは依然としてDDMベースのモデリングに最適である。
実験的に、LIONは複数のShapeNetベンチマークで最先端の生成性能を達成する。
さらに、当社のVAEフレームワークは、LIONを様々なタスクに簡単に利用することができる: LIONはマルチモーダル形状のデノイングやボクセル条件の合成に優れ、テキストおよび画像駆動の3D生成に適応することができる。
また, 形状自動符号化と潜時形状補間を実証し, 平滑な3次元メッシュを生成するために, 現代の表面再構成技術でLIONを拡張した。
LIONは、高品質な生成、柔軟性、表面の再構築のために、3D形状を扱うアーティストに強力なツールを提供することを期待している。
プロジェクトページとコード:https://nv-tlabs.github.io/LION。
関連論文リスト
- Pushing Auto-regressive Models for 3D Shape Generation at Capacity and
Scalability [121.44324465222498]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳(メタデータ) (2024-02-19T15:33:09Z) - Efficient 3D Articulated Human Generation with Layered Surface Volumes [131.3802971483426]
我々は,デジタル人間のための新しい3次元オブジェクト表現として,層状表面体積(LSV)を導入する。
LSVは、従来のテンプレートの周囲の複数のテクスチャ層を使用して人体を表現する。
2Dジェネレータは個々のレイヤのRGBAテクスチャを合成することを学ぶ。
論文 参考訳(メタデータ) (2023-07-11T17:50:02Z) - DiffInDScene: Diffusion-based High-Quality 3D Indoor Scene Generation [52.57289166214808]
DiffInDSceneは高品質な屋内シーン生成問題に取り組むための新しいフレームワークである。
KinectFusionのインクリメンタルアライメントとローカルTSDFボリュームの融合に着想を得て,拡散型SDF融合法を提案する。
生成した結果から,3次元空間で高品位な部屋生成を実現することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-06-01T10:19:23Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳(メタデータ) (2023-03-26T12:03:18Z) - 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。
これにより、多種多様な高品質な3D表面を生成できます。
論文 参考訳(メタデータ) (2022-12-01T20:00:00Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳(メタデータ) (2021-11-08T05:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。