Fugu-MT 論文翻訳(概要): Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds

論文の概要: Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds

arxiv url: http://arxiv.org/abs/2406.17342v1
Date: Tue, 25 Jun 2024 07:57:03 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 15:11:49.091609
Title: Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds
Title（参考訳）: 相乗的表現と点雲の3次元生成のためのマスク付き生成エクストラクタ
Authors: Hongliang Zeng, Ping Zhang, Fang Li, Jiahua Wang, Tingyu Ye, Pengteng Guo,
Abstract要約: Masked Generative (MAGE) は生成モデルと表現学習の相乗効果を実証した。我々は,この概念をクラウドデータに拡張するためのポイントMAGEを提案する。形状分類タスクにおいて、Point-MAGEはModelNet40データセットで94.2%、ScanObjectNNデータセットで92.9%の精度を達成した。
参考スコア（独自算出の注目度）: 6.69660410213287
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the field of 2D image generation modeling and representation learning, Masked Generative Encoder (MAGE) has demonstrated the synergistic potential between generative modeling and representation learning. Inspired by this, we propose Point-MAGE to extend this concept to point cloud data. Specifically, this framework first utilizes a Vector Quantized Variational Autoencoder (VQVAE) to reconstruct a neural field representation of 3D shapes, thereby learning discrete semantic features of point patches. Subsequently, by combining the masking model with variable masking ratios, we achieve synchronous training for both generation and representation learning. Furthermore, our framework seamlessly integrates with existing point cloud self-supervised learning (SSL) models, thereby enhancing their performance. We extensively evaluate the representation learning and generation capabilities of Point-MAGE. In shape classification tasks, Point-MAGE achieved an accuracy of 94.2% on the ModelNet40 dataset and 92.9% (+1.3%) on the ScanObjectNN dataset. Additionally, it achieved new state-of-the-art performance in few-shot learning and part segmentation tasks. Experimental results also confirmed that Point-MAGE can generate detailed and high-quality 3D shapes in both unconditional and conditional settings.
Abstract（参考訳）: 2次元画像生成モデリングと表現学習の分野では、Masked Generative Encoder (MAGE) が生成モデルと表現学習の相乗効果を実証している。そこで我々は,この概念をクラウドデータへ拡張するためのPoint-MAGEを提案する。具体的には、まずベクトル量子化変分オートエンコーダ(VQVAE)を使用して、3次元形状のニューラルネットワーク表現を再構成し、点パッチの個別の意味的特徴を学習する。その後、マスキングモデルと可変マスキング比を組み合わせることで、生成学習と表現学習の同時学習を実現する。さらに,我々のフレームワークは既存のポイントクラウド自己教師型学習(SSL)モデルとシームレスに統合され,性能が向上する。我々は,Point-MAGEの表現学習と生成能力を広範囲に評価した。形状分類タスクにおいて、Point-MAGEはModelNet40データセットで94.2%、ScanObjectNNデータセットで92.9%(+1.3%)の精度を達成した。さらに、数ショットの学習と部分のセグメンテーションタスクにおいて、最先端のパフォーマンスを新たに達成した。実験結果から,Point-MAGEは非条件条件と条件条件の両方で,詳細な3次元形状と高品質な形状を生成できることが確認された。

関連論文リスト

Part-aware Shape Generation with Latent 3D Diffusion of Neural Voxel Fields [50.12118098874321]
ニューラルボクセル場に対する潜在3次元拡散過程を導入し,高分解能で生成を可能にする。部分符号を神経ボクセル場に統合し、正確な部分分解を導出するために、部分認識形状復号器を導入する。その結果,既存の最先端手法よりも優れた部品認識形状生成において,提案手法の優れた生成能力を示した。
論文参考訳（メタデータ） (2024-05-02T04:31:17Z)
Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability [118.26563926533517]
自己回帰モデルでは,格子空間における関節分布をモデル化することにより,2次元画像生成において顕著な結果が得られた。自動回帰モデルを3次元領域に拡張し,キャパシティとスケーラビリティを同時に向上することにより,3次元形状生成の強力な能力を求める。
論文参考訳（メタデータ） (2024-02-19T15:33:09Z)
Human as Points: Explicit Point-based 3D Human Reconstruction from Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文参考訳（メタデータ） (2023-11-06T05:52:29Z)
Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models [97.58685709663287]
生成事前学習は、2次元視覚における基本モデルの性能を高めることができる。 3Dビジョンでは、トランスフォーマーベースのバックボーンの過度な信頼性と、点雲の秩序のない性質により、生成前のトレーニングのさらなる発展が制限されている。本稿では,任意の点クラウドモデルに適用可能な3D-to-2D生成事前学習法を提案する。
論文参考訳（メタデータ） (2023-07-27T16:07:03Z)
Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文参考訳（メタデータ） (2023-03-26T12:03:18Z)
Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文参考訳（メタデータ） (2022-10-08T17:58:20Z)
Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation [66.21121745446345]
本稿では,特定の属性ラベルを入力として統合した条件付きGNeRFモデルを提案する。提案手法は, 事前学習した3次元顔モデルに基づいており, 条件付き正規化フローモジュールをトレーニングするためのTraining as Init and fidelity for Tuning (TRIOT) 方式を提案する。本実験は,ビューの整合性を高めた高品質な編集を行う能力を示すとともに,本モデルの有効性を実証するものである。
論文参考訳（メタデータ） (2022-08-26T10:05:39Z)
Scalable Surface Reconstruction with Delaunay-Graph Neural Networks [14.128976778330474]
本稿では,大規模で欠陥のある点群に対して,新しい学習ベースで可視性に配慮した表面再構成手法を提案する。実際のMVS(Multi-View Stereo)買収で発生する点雲欠陥のスケールと多様性に対処できる。
論文参考訳（メタデータ） (2021-07-13T14:30:32Z)
Discrete Point Flow Networks for Efficient Point Cloud Generation [36.03093265136374]
生成モデルは3次元形状とその統計的バリエーションをモデル化するのに有効であることが証明されている。任意の大きさの3次元点雲を生成するために,フローの正規化に基づく潜在変数モデルを導入する。単一ビュー形状再構成では、最先端のボクセル、ポイントクラウド、メッシュベースの手法と同等の結果が得られる。
論文参考訳（メタデータ） (2020-07-20T14:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。