論文の概要: LION: Latent Point Diffusion Models for 3D Shape Generation

• arxiv url: http://arxiv.org/abs/2210.06978v1
• Date: Wed, 12 Oct 2022 08:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:03:16.821954
• Title: LION: Latent Point Diffusion Models for 3D Shape Generation
• Title（参考訳）: lion: 3次元形状生成のための潜点拡散モデル
• Authors: Xiaohui Zeng, Arash Vahdat, Francis Williams, Zan Gojcic, Or Litany, Sanja Fidler, Karsten Kreis
• Abstract要約: 3次元形状生成のための階層的潜在点拡散モデル(LION)を導入する。 LION は、大域的なラテント表現と点構造ラテント空間を組み合わせた階層ラテント空間を持つ変分オートエンコーダ (VAE) として設定される。 実験的に、LIONは複数のShapeNetベンチマークで最先端の生成性能を達成する。
• 参考スコア（独自算出の注目度）: 80.07575067829141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion models (DDMs) have shown promising results in 3D point cloud synthesis. To advance 3D DDMs and make them useful for digital artists, we require (i) high generation quality, (ii) flexibility for manipulation and applications such as conditional synthesis and shape interpolation, and (iii) the ability to output smooth surfaces or meshes. To this end, we introduce the hierarchical Latent Point Diffusion Model (LION) for 3D shape generation. LION is set up as a variational autoencoder (VAE) with a hierarchical latent space that combines a global shape latent representation with a point-structured latent space. For generation, we train two hierarchical DDMs in these latent spaces. The hierarchical VAE approach boosts performance compared to DDMs that operate on point clouds directly, while the point-structured latents are still ideally suited for DDM-based modeling. Experimentally, LION achieves state-of-the-art generation performance on multiple ShapeNet benchmarks. Furthermore, our VAE framework allows us to easily use LION for different relevant tasks: LION excels at multimodal shape denoising and voxel-conditioned synthesis, and it can be adapted for text- and image-driven 3D generation. We also demonstrate shape autoencoding and latent shape interpolation, and we augment LION with modern surface reconstruction techniques to generate smooth 3D meshes. We hope that LION provides a powerful tool for artists working with 3D shapes due to its high-quality generation, flexibility, and surface reconstruction. Project page and code: https://nv-tlabs.github.io/LION.
• Abstract（参考訳）: 拡散モデル(DDM)は3次元点雲合成において有望な結果を示した。 3D DDMを進化させ、デジタルアーティストに役立てるためには (i)高世代品質 二 条件合成及び形状補間等の操作及び応用の柔軟性及び (iii)滑らかな表面やメッシュを出力できる能力。 そこで我々は3次元形状生成のための階層的潜在点拡散モデル(LION)を提案する。 LIONは、大域的なラテント表現と点構造ラテント空間を組み合わせた階層ラテント空間を持つ変分オートエンコーダ(VAE)として設定される。 これらの潜在空間において2つの階層的ddmを訓練する。 階層的VAEアプローチは、ポイントクラウド上で直接動作するDDMと比較してパフォーマンスを向上するが、ポイント構造化ラテントは依然としてDDMベースのモデリングに最適である。 実験的に、LIONは複数のShapeNetベンチマークで最先端の生成性能を達成する。 さらに、当社のVAEフレームワークは、LIONを様々なタスクに簡単に利用することができる: LIONはマルチモーダル形状のデノイングやボクセル条件の合成に優れ、テキストおよび画像駆動の3D生成に適応することができる。 また, 形状自動符号化と潜時形状補間を実証し, 平滑な3次元メッシュを生成するために, 現代の表面再構成技術でLIONを拡張した。 LIONは、高品質な生成、柔軟性、表面の再構築のために、3D形状を扱うアーティストに強力なツールを提供することを期待している。 プロジェクトページとコード:https://nv-tlabs.github.io/LION。

関連論文リスト

• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
  自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。 自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
  論文  参考訳（メタデータ） (2024-02-19T15:33:09Z)
• Efficient 3D Articulated Human Generation with Layered Surface Volumes [131.3802971483426]
  我々は,デジタル人間のための新しい3次元オブジェクト表現として,層状表面体積(LSV)を導入する。 LSVは、従来のテンプレートの周囲の複数のテクスチャ層を使用して人体を表現する。 2Dジェネレータは個々のレイヤのRGBAテクスチャを合成することを学ぶ。
  論文  参考訳（メタデータ） (2023-07-11T17:50:02Z)
• Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
  自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。 本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T12:03:18Z)
• 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
  自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。 これにより、多種多様な高品質な3D表面を生成できます。
  論文  参考訳（メタデータ） (2022-12-01T20:00:00Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。