論文の概要: Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds
- arxiv url: http://arxiv.org/abs/2406.17342v2
- Date: Thu, 15 Aug 2024 09:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 18:07:06.444316
- Title: Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds
- Title（参考訳）: 相乗的表現と点雲の3次元生成のためのマスク付き生成エクストラクタ
- Authors: Hongliang Zeng, Ping Zhang, Fang Li, Jiahua Wang, Tingyu Ye, Pengteng Guo,
- Abstract要約: 我々は,3次元表現学習と生成学習を深く統合する利点を探るため,Point-MGEと呼ばれる革新的なフレームワークを提案する。
形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。
また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
- 参考スコア（独自算出の注目度）: 6.69660410213287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representation and generative learning, as reconstruction-based methods, have demonstrated their potential for mutual reinforcement across various domains. In the field of point cloud processing, although existing studies have adopted training strategies from generative models to enhance representational capabilities, these methods are limited by their inability to genuinely generate 3D shapes. To explore the benefits of deeply integrating 3D representation learning and generative learning, we propose an innovative framework called \textit{Point-MGE}. Specifically, this framework first utilizes a vector quantized variational autoencoder to reconstruct a neural field representation of 3D shapes, thereby learning discrete semantic features of point patches. Subsequently, we design a sliding masking ratios to smooth the transition from representation learning to generative learning. Moreover, our method demonstrates strong generalization capability in learning high-capacity models, achieving new state-of-the-art performance across multiple downstream tasks. In shape classification, Point-MGE achieved an accuracy of 94.2% (+1.0%) on the ModelNet40 dataset and 92.9% (+5.5%) on the ScanObjectNN dataset. Experimental results also confirmed that Point-MGE can generate high-quality 3D shapes in both unconditional and conditional settings.
- Abstract（参考訳）: 表現と生成学習は、再構築に基づく手法として、様々な領域にまたがる相互強化の可能性を示している。
ポイントクラウド処理の分野では、既存の研究では、表現能力を高めるために生成モデルからのトレーニング戦略を採用しているが、3次元形状を真に生成できないため、これらの手法は制限されている。
本稿では,3次元表現学習と生成学習を深く統合することのメリットを探るため,「textit{Point-MGE}」と呼ばれる革新的なフレームワークを提案する。
具体的には,まずベクトル量子化変分オートエンコーダを用いて3次元形状の神経場表現を再構成し,点パッチの個々の意味的特徴を学習する。
その後、表現学習から生成学習への移行を円滑にするためのスライディングマスキング比を設計する。
さらに,本手法は,複数のダウンストリームタスクにまたがる新しい最先端性能を実現するために,高容量モデル学習における強力な一般化能力を示す。
形状分類において、Point-MGEはModelNet40データセットで94.2%(+1.0%)、ScanObjectNNデータセットで92.9%(+5.5%)の精度を達成した。
また,非条件条件と条件条件条件条件の両方で,Point-MGEが高品質な3D形状を生成可能であることを確認した。
関連論文リスト
- Part-aware Shape Generation with Latent 3D Diffusion of Neural Voxel Fields [50.12118098874321]
ニューラルボクセル場に対する潜在3次元拡散過程を導入し,高分解能で生成を可能にする。
部分符号を神経ボクセル場に統合し、正確な部分分解を導出するために、部分認識形状復号器を導入する。
その結果,既存の最先端手法よりも優れた部品認識形状生成において,提案手法の優れた生成能力を示した。
論文 参考訳（メタデータ） (2024-05-02T04:31:17Z) - Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。
自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文 参考訳（メタデータ） (2024-02-19T15:33:09Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳（メタデータ） (2023-11-06T05:52:29Z) - Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models [97.58685709663287]
生成事前学習は、2次元視覚における基本モデルの性能を高めることができる。
3Dビジョンでは、トランスフォーマーベースのバックボーンの過度な信頼性と、点雲の秩序のない性質により、生成前のトレーニングのさらなる発展が制限されている。
本稿では,任意の点クラウドモデルに適用可能な3D-to-2D生成事前学習法を提案する。
論文 参考訳（メタデータ） (2023-07-27T16:07:03Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳（メタデータ） (2023-03-26T12:03:18Z) - Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。
大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文 参考訳（メタデータ） (2022-10-08T17:58:20Z) - Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation [66.21121745446345]
本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。
提案手法は, 事前学習した3次元顔モデルに基づいており, 条件付き正規化フローモジュールをトレーニングするためのTraining as Init and fidelity for Tuning (TRIOT) 方式を提案する。
本実験は,ビューの整合性を高めた高品質な編集を行う能力を示すとともに,本モデルの有効性を実証するものである。
論文 参考訳（メタデータ） (2022-08-26T10:05:39Z) - Scalable Surface Reconstruction with Delaunay-Graph Neural Networks [14.128976778330474]
本稿では,大規模で欠陥のある点群に対して,新しい学習ベースで可視性に配慮した表面再構成手法を提案する。
実際のMVS(Multi-View Stereo)買収で発生する点雲欠陥のスケールと多様性に対処できる。
論文 参考訳（メタデータ） (2021-07-13T14:30:32Z) - Discrete Point Flow Networks for Efficient Point Cloud Generation [36.03093265136374]
生成モデルは3次元形状とその統計的バリエーションをモデル化するのに有効であることが証明されている。
任意の大きさの3次元点雲を生成するために,フローの正規化に基づく潜在変数モデルを導入する。
単一ビュー形状再構成では、最先端のボクセル、ポイントクラウド、メッシュベースの手法と同等の結果が得られる。
論文 参考訳（メタデータ） (2020-07-20T14:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。