論文の概要: GeoMAE: Masked Geometric Target Prediction for Self-supervised Point Cloud Pre-Training

• arxiv url: http://arxiv.org/abs/2305.08808v1
• Date: Mon, 15 May 2023 17:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 13:38:25.468838
• Title: GeoMAE: Masked Geometric Target Prediction for Self-supervised Point Cloud Pre-Training
• Title（参考訳）: geomae: 自己教師付きポイントクラウド事前学習のためのマスク幾何目標予測
• Authors: Xiaoyu Tian, Haoxi Ran, Yue Wang, Hang Zhao
• Abstract要約: 幾何学的特徴再構成に基づくポイントクラウド表現学習フレームワークを提案する。 我々は,3つの自己教師型学習目標を特異点雲,すなわちセントロイド予測,正規推定,曲率予測と同定する。 私たちのパイプラインは概念的にはシンプルで、まずポイントのグループをランダムにマスキングし、次にTransformerベースのポイントクラウドエンコーダという2つの大きなステップで構成されています。
• 参考スコア（独自算出の注目度）: 16.825524577372473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tries to address a fundamental question in point cloud self-supervised learning: what is a good signal we should leverage to learn features from point clouds without annotations? To answer that, we introduce a point cloud representation learning framework, based on geometric feature reconstruction. In contrast to recent papers that directly adopt masked autoencoder (MAE) and only predict original coordinates or occupancy from masked point clouds, our method revisits differences between images and point clouds and identifies three self-supervised learning objectives peculiar to point clouds, namely centroid prediction, normal estimation, and curvature prediction. Combined with occupancy prediction, these four objectives yield an nontrivial self-supervised learning task and mutually facilitate models to better reason fine-grained geometry of point clouds. Our pipeline is conceptually simple and it consists of two major steps: first, it randomly masks out groups of points, followed by a Transformer-based point cloud encoder; second, a lightweight Transformer decoder predicts centroid, normal, and curvature for points in each voxel. We transfer the pre-trained Transformer encoder to a downstream peception model. On the nuScene Datset, our model achieves 3.38 mAP improvment for object detection, 2.1 mIoU gain for segmentation, and 1.7 AMOTA gain for multi-object tracking. We also conduct experiments on the Waymo Open Dataset and achieve significant performance improvements over baselines as well.
• Abstract（参考訳）: 本稿では,ポイントクラウドの自己教師付き学習における基本的な問題に対処しようとする。 そこで我々は,幾何学的特徴の再構成に基づくポイントクラウド表現学習フレームワークを提案する。 マスキングオートエンコーダ(mae)を直接採用し,マスキングポイントクラウドから元の座標や占有率のみを予測する最近の論文とは対照的に,画像とポイントクラウドの違いを再検討し,ポイントクラウド特有の3つの自己教師あり学習目標,すなわち遠心予測,正規推定,曲率予測を同定する。 占有予測と組み合わせることで、これらの4つの目的は非自明な自己教師付き学習タスクをもたらし、点雲の微細な幾何をより正確に推論するためのモデルを相互に促進する。 パイプラインは概念的にシンプルで,まずポイントのグループをランダムにマスキングし,次にTransformerベースのポイントクラウドエンコーダ,そして第2に,軽量なTransformerデコーダが各ボクセル内のポイントに対するセントロイド,正規,曲率を予測する。 トレーニング済みのTransformerエンコーダを下流の知覚モデルに転送する。 nuScene Datsetでは,オブジェクト検出のための3.38 mAP改良,セグメンテーションのための2.1 mIoUゲイン,マルチオブジェクト追跡のための1.7 AMOTAゲインを実現している。 waymo open datasetの実験も行っており、ベースラインよりも大幅にパフォーマンスが向上しています。

関連論文リスト

• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
  本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。 現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。 我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
  論文  参考訳（メタデータ） (2023-07-27T03:42:12Z)
• PointPatchMix: Point Cloud Mixing with Patch Scoring [58.58535918705736]
  我々は、パッチレベルでポイントクラウドを混合し、混合ポイントクラウドのコンテンツベースターゲットを生成するPointPatchMixを提案する。 パッチスコアリングモジュールは、事前学習した教師モデルから、コンテンツに基づく重要度スコアに基づいて目標を割り当てる。 Point-MAE をベースラインとして,ScanObjectNN では86.3%,ModelNet40 では94.1% の精度で,従来の手法をかなり上回りました。
  論文  参考訳（メタデータ） (2023-03-12T14:49:42Z)
• AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。 本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
  論文  参考訳（メタデータ） (2023-01-11T16:14:12Z)
• Upsampling Autoencoder for Self-Supervised Point Cloud Learning [11.19408173558718]
  人間のアノテーションを使わずに、ポイントクラウド学習のための自己教師付き事前学習モデルを提案する。 アップサンプリング操作は、ポイントクラウドの高レベルセマンティック情報と低レベル幾何情報の両方を捕捉することをネットワークに促す。 我々のUAEは、形状分類、部分分割、点雲アップサンプリングタスクにおいて、従来の最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2022-03-21T07:20:37Z)
• Graph-Guided Deformation for Point Cloud Completion [35.10606375236494]
  本稿では,入力データと中間生成を制御および支持点とみなすグラフガイド変形ネットワークを提案する。 我々の重要な洞察は、メッシュ変形法による最小2乗ラプラシア変形過程をシミュレートすることであり、幾何学的詳細のモデリングに適応性をもたらす。 我々はGCN誘導変形による従来のグラフィックアルゴリズムを模倣して、ポイントクラウド補完タスクを改良した最初の人物である。
  論文  参考訳（メタデータ） (2021-11-11T12:55:26Z)
• Point Cloud Pre-training by Mixing and Disentangling [35.18101910728478]
  Mixing and Disentangling (MD)は、ポイントクラウド事前トレーニングのための自己教師付き学習アプローチである。 我々は,エンコーダ+我々の(MD)が,スクラッチから訓練したエンコーダを著しく上回り,迅速に収束することを示す。 この自己教師型学習によるポイントクラウドの試みが、大規模ラベル付きデータへの深い学習モデル依存を減らす道を開くことを願っている。
  論文  参考訳（メタデータ） (2021-09-01T15:52:18Z)
• PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers [81.71904691925428]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々はまた、ポイントクラウド補完のためにトランスフォーマーエンコーダデコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルも設計している。 提案手法は,新しいベンチマークと既存ベンチマークの両方において,最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T17:58:56Z)
• Planning with Learned Dynamic Model for Unsupervised Point Cloud Registration [25.096635750142227]
  我々は,変換ネットワークと評価ネットワークから構成される点雲の潜在動的モデルを開発する。 我々は、ポイントクラウド登録プロセスにおける報酬を最大化し、計画方針を反復的に更新するためにクロスエントロピー法(CEM)を用いる。 ModelNet40および7Sceneベンチマークデータセットの実験結果から,本手法は教師なしで良好な登録性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-08-05T13:47:11Z)
• Refinement of Predicted Missing Parts Enhance Point Cloud Completion [62.997667081978825]
  点雲完了は、部分的な観測から3次元形状の点集合表現を用いて完全な幾何学を予測するタスクである。 従来のアプローチでは、不完全点集合によって供給されるエンコーダ・デコーダモデルにより、点雲全体を直接推定するニューラルネットワークが提案されていた。 本稿では、欠落した幾何を計算し、既知の入力と予測点クラウドを融合することに焦点を当てたエンドツーエンドニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。