論文の概要: Masked Autoencoders in 3D Point Cloud Representation Learning
- arxiv url: http://arxiv.org/abs/2207.01545v2
- Date: Mon, 11 Sep 2023 11:33:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 23:21:30.062055
- Title: Masked Autoencoders in 3D Point Cloud Representation Learning
- Title（参考訳）: 3Dポイントクラウド表現学習におけるマスクオートエンコーダ
- Authors: Jincen Jiang, Xuequan Lu, Lizhi Zhao, Richard Dazeley, Meili Wang
- Abstract要約: 3Dポイントクラウド表現学習におけるマスク付きオートエンコーダを提案する(略してMAE3D)。
最初はインプットポイントクラウドをパッチに分割し、その一部をマスクし、次にPatch Embedding Moduleを使って未成熟のパッチの特徴を抽出しました。
総合的な実験により、ポイントクラウドパッチからMAE3Dによって抽出された局所的特徴が下流分類タスクに有用であることが示されている。
- 参考スコア（独自算出の注目度）: 7.617783375837524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based Self-supervised Representation Learning methods learn
generic features from unlabeled datasets for providing useful network
initialization parameters for downstream tasks. Recently, self-supervised
learning based upon masking local surface patches for 3D point cloud data has
been under-explored. In this paper, we propose masked Autoencoders in 3D point
cloud representation learning (abbreviated as MAE3D), a novel autoencoding
paradigm for self-supervised learning. We first split the input point cloud
into patches and mask a portion of them, then use our Patch Embedding Module to
extract the features of unmasked patches. Secondly, we employ patch-wise MAE3D
Transformers to learn both local features of point cloud patches and high-level
contextual relationships between patches and complete the latent
representations of masked patches. We use our Point Cloud Reconstruction Module
with multi-task loss to complete the incomplete point cloud as a result. We
conduct self-supervised pre-training on ShapeNet55 with the point cloud
completion pre-text task and fine-tune the pre-trained model on ModelNet40 and
ScanObjectNN (PB\_T50\_RS, the hardest variant). Comprehensive experiments
demonstrate that the local features extracted by our MAE3D from point cloud
patches are beneficial for downstream classification tasks, soundly
outperforming state-of-the-art methods ($93.4\%$ and $86.2\%$ classification
accuracy, respectively).
- Abstract（参考訳）: トランスフォーマティブに基づく自己教師付き表現学習手法は、ラベルなしデータセットから汎用的な特徴を学習し、下流タスクに有用なネットワーク初期化パラメータを提供する。
近年,3次元点雲データに対する局所表面パッチのマスキングに基づく自己教師型学習が検討されている。
本稿では,自己教師型学習のための新しい自動符号化パラダイムである3Dポイントクラウド表現学習(MAE3D)におけるマスク付きオートエンコーダを提案する。
最初はインプットポイントクラウドをパッチに分割し、その一部をマスクし、次にPatch Embedding Moduleを使って未成熟のパッチの特徴を抽出しました。
次に,パッチワイズmae3dトランスフォーマを使用して,ポイントクラウドパッチのローカル機能と,パッチ間のハイレベルなコンテキスト関係を学習し,マスクパッチの潜在表現を完成させる。
結果として、不完全なポイントクラウドを完成させるために、マルチタスクの損失を伴うポイントクラウドリコンストラクションモジュールを使用します。
本研究では,ShapeNet55上で,ポイントクラウド完了前テキストタスクによる事前学習を行い,ModelNet40およびScanObjectNN(PB\_T50\_RS,最も難しい変種)の事前学習モデルを微調整する。
包括的実験により、ポイントクラウドパッチからmae3dによって抽出されたローカル機能は、下流の分類タスクに有用であり、最先端のメソッドよりも優れた(それぞれ93.4\%$と8.6.2\%$の分類精度)。
関連論文リスト
- PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training [90.06520673092702]
生成点クラウドペアを用いた3Dポイントクラウドの登録をトレーニングのために促進するPointRegGPTを提案する。
我々の知る限り、これは屋内のクラウド登録のためのリアルなデータ生成を探求する最初の生成的アプローチである。
論文 参考訳（メタデータ） (2024-07-19T06:29:57Z) - Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳（メタデータ） (2023-07-27T03:42:12Z) - CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud
Semantic Segmentation [60.0893353960514]
疎アノテーションを用いた弱教師付きポイントクラウドセマンティックセマンティックセグメンテーションの課題について検討する。
本研究では,地域マスキング(RegionMask)戦略とコンテキストマスキングトレーニング(CMT)手法の2つの部分からなるコンテキストポイントクラウドモデリング(CPCM)手法を提案する。
論文 参考訳（メタデータ） (2023-07-19T04:41:18Z) - Self-supervised adversarial masking for 3D point cloud representation
learning [0.38233569758620056]
本稿では,点雲のマスキング関数を学習するための新しい逆法であるPointCAMを紹介する。
従来の手法と比較して,マスクをランダムに選択するのではなく,マスクの選択方法を学習する補助的ネットワークの適用を仮定する。
以上の結果から,学習したマスキング関数は,様々な下流タスクにおいて,最先端ないし競争的な性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-07-11T15:11:06Z) - EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。
我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
論文 参考訳（メタデータ） (2022-12-08T06:27:11Z) - SeRP: Self-Supervised Representation Learning Using Perturbed Point
Clouds [6.29475963948119]
SeRPはエンコーダ・デコーダアーキテクチャで構成されており、乱れや破損した点雲を入力として利用する。
トランスフォーマーとPointNetベースのオートエンコーダを使用しました。
論文 参考訳（メタデータ） (2022-09-13T15:22:36Z) - Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud
Pre-training [56.81809311892475]
Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。
我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
論文 参考訳（メタデータ） (2022-05-28T11:22:53Z) - Self-Supervised Point Cloud Representation Learning with Occlusion
Auto-Encoder [63.77257588569852]
本稿では,3D Occlusion Auto-Encoder(3D-OAE)を提案する。
私たちのキーとなるアイデアは、入力ポイントクラウドのローカルパッチをランダムに排除し、隠されたパッチを復元することで監督を確立することです。
従来の手法とは対照的に、我々の3D-OAEは大量のパッチを除去し、少数の可視パッチでしか予測できない。
論文 参考訳（メタデータ） (2022-03-26T14:06:29Z) - Masked Discrimination for Self-Supervised Learning on Point Clouds [27.652157544218234]
マスク付きオートエンコーディングは、画像と言語領域における自己教師型学習において大きな成功を収めた。
PointNetのような標準的なバックボーンは、トレーニング中にマスクによって導入された分散ミスマッチのトレーニングとテストのミスマッチを適切に処理できない。
我々はこのギャップを、ポイントクラウドのための差別マスク事前学習フレームワークMaskPointを提案し、橋渡しする。
論文 参考訳（メタデータ） (2022-03-21T17:57:34Z) - Masked Autoencoders for Point Cloud Self-supervised Learning [27.894216954216716]
本稿では,ポイントクラウドによる自己教師型学習のためのマスク付きオートエンコーダの巧妙なスキームを提案する。
入力点雲を不規則点パッチに分割し、ランダムに高い比で隠蔽する。
標準のトランスフォーマーベースのオートエンコーダは、非対称な設計とシフトマスクトークン操作を備え、非マスク点パッチから高い遅延特徴を学習する。
論文 参考訳（メタデータ） (2022-03-13T09:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。