論文の概要: NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation
- arxiv url: http://arxiv.org/abs/2403.18241v2
- Date: Fri, 12 Jul 2024 07:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 04:57:27.437989
- Title: NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation
- Title（参考訳）: NeuSDFusion:3次元形状補完・再構成・生成のための空間認識生成モデル
- Authors: Ruikai Cui, Weizhe Liu, Weixuan Sun, Senbo Wang, Taizhang Shang, Yang Li, Xibin Song, Han Yan, Zhennan Wu, Shenzhou Chen, Hongdong Li, Pan Ji,
- Abstract要約: 3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 52.772319840580074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D shape generation aims to produce innovative 3D content adhering to specific conditions and constraints. Existing methods often decompose 3D shapes into a sequence of localized components, treating each element in isolation without considering spatial consistency. As a result, these approaches exhibit limited versatility in 3D data representation and shape generation, hindering their ability to generate highly diverse 3D shapes that comply with the specified constraints. In this paper, we introduce a novel spatial-aware 3D shape generation framework that leverages 2D plane representations for enhanced 3D shape modeling. To ensure spatial coherence and reduce memory usage, we incorporate a hybrid shape representation technique that directly learns a continuous signed distance field representation of the 3D shape using orthogonal 2D planes. Additionally, we meticulously enforce spatial correspondences across distinct planes using a transformer-based autoencoder structure, promoting the preservation of spatial relationships in the generated 3D shapes. This yields an algorithm that consistently outperforms state-of-the-art 3D shape generation methods on various tasks, including unconditional shape generation, multi-modal shape completion, single-view reconstruction, and text-to-shape synthesis. Our project page is available at https://weizheliu.github.io/NeuSDFusion/ .
- Abstract（参考訳）: 3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法では、しばしば3次元形状を局所成分の列に分解し、各要素を空間的一貫性を考慮せずに分離して扱う。
その結果、これらの手法は、3次元データ表現と形状生成において限られた汎用性を示し、指定された制約を満たす高度に多様な3次元形状を生成する能力を妨げている。
本稿では,2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
空間コヒーレンスを確保し,メモリ使用量を削減するため,直交2次元平面を用いて3次元形状の連続符号付き距離場表現を直接学習するハイブリッド形状表現手法を組み込んだ。
さらに,トランスを用いたオートエンコーダ構造を用いて,異なる平面間の空間的対応を慎重に実施し,生成した3次元形状における空間的関係の保存を促進する。
これにより、無条件形状生成、マルチモーダル形状完了、単一ビュー再構成、テキスト・ツー・シェイプ合成など、様々なタスクにおける最先端の3D形状生成手法を一貫して上回るアルゴリズムが得られる。
私たちのプロジェクトページはhttps://weizheliu.github.io/NeuSDFusion/ で公開されています。
関連論文リスト
- DetailGen3D: Generative 3D Geometry Enhancement via Data-Dependent Flow [44.72037991063735]
DetailGen3Dは、生成された3D形状を強化するために特別に設計されたジェネレーティブなアプローチである。
我々の重要な洞察は、潜在空間におけるデータ依存フローを通して、粗大から細小への変換を直接モデル化することである。
改質時に正確な空間対応を確保するためのトークンマッチング戦略を導入する。
論文 参考訳（メタデータ） (2024-11-25T17:08:17Z) - GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。
本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。
提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
論文 参考訳（メタデータ） (2024-11-12T18:59:32Z) - 3D Semantic Subspace Traverser: Empowering 3D Generative Model with
Shape Editing Capability [13.041974495083197]
従来の3次元形状生成の研究は、意味情報の重要性を考慮せずに、形状の質と構造に焦点を合わせてきた。
本稿では,3Dセマンティックサブスペーストラバーサという新しい意味生成モデルを提案する。
本手法は,複雑な構造を持つ可塑性形状を生成でき,意味的属性の編集を可能にする。
論文 参考訳（メタデータ） (2023-07-26T09:04:27Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳（メタデータ） (2023-06-29T17:17:57Z) - IC3D: Image-Conditioned 3D Diffusion for Shape Generation [4.470499157873342]
Denoising Diffusion Probabilistic Models (DDPM) は様々な2次元生成タスクにおいて例外的な性能を示した。
我々は,CISP (Contrastive Image-Shape Pre-Training)を導入し,画像-形状の接合空間を適切に構成した。
次に,CISPの3次元形状生成誘導を利用するDDPMであるIC3Dを紹介する。
論文 参考訳（メタデータ） (2022-11-20T04:21:42Z) - XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
論文 参考訳（メタデータ） (2022-10-06T15:54:01Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳（メタデータ） (2021-11-08T05:29:35Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。