論文の概要: VPP: Efficient Conditional 3D Generation via Voxel-Point Progressive
Representation
- arxiv url: http://arxiv.org/abs/2307.16605v1
- Date: Fri, 28 Jul 2023 17:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 14:40:08.760352
- Title: VPP: Efficient Conditional 3D Generation via Voxel-Point Progressive
Representation
- Title(参考訳): VPP:Voxel-Pointプログレッシブ表現による効率的な条件付き3D生成
- Authors: Zekun Qi, Muzhou Yu, Runpei Dong, Kaisheng Ma
- Abstract要約: 条件付き3D生成は大きな進歩を遂げており、テキストや2D画像などの入力から3Dコンテンツを自由に作成することができる。
従来のアプローチでは、推論効率が低く、生成カテゴリが限られ、下流のアプリケーションに制限があった。
本稿では,Voxel-Point Progressive Representation (VPP) を用いたプログレッシブ生成手法を提案する。
- 参考スコア(独自算出の注目度): 10.48352896851132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional 3D generation is undergoing a significant advancement, enabling
the free creation of 3D content from inputs such as text or 2D images. However,
previous approaches have suffered from low inference efficiency, limited
generation categories, and restricted downstream applications. In this work, we
revisit the impact of different 3D representations on generation quality and
efficiency. We propose a progressive generation method through Voxel-Point
Progressive Representation (VPP). VPP leverages structured voxel representation
in the proposed Voxel Semantic Generator and the sparsity of unstructured point
representation in the Point Upsampler, enabling efficient generation of
multi-category objects. VPP can generate high-quality 8K point clouds within
0.2 seconds. Additionally, the masked generation Transformer allows for various
3D downstream tasks, such as generation, editing, completion, and pre-training.
Extensive experiments demonstrate that VPP efficiently generates high-fidelity
and diverse 3D shapes across different categories, while also exhibiting
excellent representation transfer performance. Codes will be released on
https://github.com/qizekun/VPP.
- Abstract(参考訳): 条件付き3D生成は大きな進歩を遂げており、テキストや2D画像などの入力から3Dコンテンツを自由に作成することができる。
しかし、従来のアプローチでは推論効率が低く、生成カテゴリが限られ、下流のアプリケーションに制限があった。
本研究では,異なる3次元表現が生成品質と効率に与える影響を再考する。
本稿では,Voxel-Point Progressive Representation (VPP)によるプログレッシブ生成手法を提案する。
VPPは提案したVoxel Semantic Generatorにおける構造化ボクセル表現とPoint Upsamplerにおける非構造化点表現の空間性を活用し、マルチカテゴリオブジェクトの効率的な生成を可能にする。
VPPは0.2秒で高品質の8K点雲を生成することができる。
さらに、マスク付きジェネレーショントランスフォーマーは、生成、編集、完了、事前トレーニングなど、様々な3D下流タスクを可能にする。
広汎な実験により、VPPは様々なカテゴリにまたがって高忠実で多様な3次元形状を効率よく生成し、表現伝達性能も優れていた。
コードはhttps://github.com/qizekun/vppでリリースされる。
関連論文リスト
- LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。
提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。
3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-18T17:54:34Z) - IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality
3D Generation [96.32684334038278]
本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。
画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。
IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
論文 参考訳(メタデータ) (2024-02-13T18:59:51Z) - DreamPropeller: Supercharge Text-to-3D Generation with Parallel Sampling [76.29773841676094]
そこで我々はDreamPropellerを提案する。DreamPropellerは、既存のテキストから3D生成パイプラインの周囲を、スコアの蒸留に基づいてラップできる加速アルゴリズムである。
我々のフレームワークは、ODEパスを並列サンプリングする古典的なアルゴリズムであるPicardイテレーションを一般化する。
提案アルゴリズムは, 並列計算をウォールクロック時間で処理し, 最大4.7倍の高速化を実現する。
論文 参考訳(メタデータ) (2023-11-28T01:28:58Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - GVP: Generative Volumetric Primitives [76.95231302205235]
本稿では,512解像度画像をリアルタイムにサンプリング・レンダリングできる最初の純3次元生成モデルである生成ボリュームプリミティブ(GVP)を提案する。
GVPは、複数のプリミティブとその空間情報を共同でモデル化し、どちらも2D畳み込みネットワークを介して効率的に生成することができる。
いくつかのデータセットの実験は、最先端技術よりも優れた効率性とGVPの3次元一貫性を示す。
論文 参考訳(メタデータ) (2023-03-31T16:50:23Z) - VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。
既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。
既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
論文 参考訳(メタデータ) (2022-06-15T17:44:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。