論文の概要: Self-Supervised Pretraining of 3D Features on any Point-Cloud
- arxiv url: http://arxiv.org/abs/2101.02691v1
- Date: Thu, 7 Jan 2021 18:55:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:34:47.322160
- Title: Self-Supervised Pretraining of 3D Features on any Point-Cloud
- Title(参考訳): 任意のポイントクラウド上の3d機能の自己教師付き事前学習
- Authors: Zaiwei Zhang, Rohit Girdhar, Armand Joulin, Ishan Misra
- Abstract要約: 3D登録なしで任意の3Dデータを扱うことができる簡単な自己監督関連方法を紹介します。
オブジェクト検出、セマンティックセグメンテーション、オブジェクト分類の9つのベンチマークでモデルを評価し、最新の結果を達成し、教師付きプリトレーニングを上回ります。
- 参考スコア(独自算出の注目度): 40.26575888582241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretraining on large labeled datasets is a prerequisite to achieve good
performance in many computer vision tasks like 2D object recognition, video
classification etc. However, pretraining is not widely used for 3D recognition
tasks where state-of-the-art methods train models from scratch. A primary
reason is the lack of large annotated datasets because 3D data is both
difficult to acquire and time consuming to label. We present a simple
self-supervised pertaining method that can work with any 3D data - single or
multiview, indoor or outdoor, acquired by varied sensors, without 3D
registration. We pretrain standard point cloud and voxel based model
architectures, and show that joint pretraining further improves performance. We
evaluate our models on 9 benchmarks for object detection, semantic
segmentation, and object classification, where they achieve state-of-the-art
results and can outperform supervised pretraining. We set a new
state-of-the-art for object detection on ScanNet (69.0% mAP) and SUNRGBD (63.5%
mAP). Our pretrained models are label efficient and improve performance for
classes with few examples.
- Abstract(参考訳): 大規模ラベル付きデータセットの事前トレーニングは、2dオブジェクト認識やビデオ分類など、多くのコンピュータビジョンタスクで優れたパフォーマンスを達成するための前提条件である。
しかし、最先端の手法がスクラッチからモデルを訓練する3D認識タスクには、事前学習は広く使われていない。
主な理由は、3Dデータは取得が難しく、ラベルに時間を要するため、大きな注釈付きデータセットがないことである。
本研究では, 単一・複数ビュー, 屋内・屋外, 各種センサで取得した3Dデータを, 3D登録なしで操作できる簡易な自己監督関連手法を提案する。
標準ポイントクラウドとvoxelベースのモデルアーキテクチャをプリトレーニングし、ジョイントプリトレーニングによりパフォーマンスがさらに向上することを示す。
我々は,オブジェクト検出,セマンティクスセグメンテーション,オブジェクト分類の9つのベンチマークでモデルを評価する。
ScanNet (69.0% mAP) とSUNRGBD (63.5% mAP) にオブジェクト検出のための新しい最先端技術を設定した。
トレーニング済みのモデルはラベルの効率が良く、わずかな例でクラスのパフォーマンスが向上します。
関連論文リスト
- Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection [52.66283064389691]
最先端の3Dオブジェクト検出器は、しばしば大量のラベル付きデータセットで訓練される。
近年の研究では、ラベル付きデータによる自己教師付き事前学習が、ラベル付きラベルによる検出精度を向上させることが示されている。
組合わせRGBとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ制御手法を提案する。
論文 参考訳(メタデータ) (2024-06-14T15:21:57Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳(メタデータ) (2023-11-03T15:41:15Z) - Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。
これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。
3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
論文 参考訳(メタデータ) (2023-04-02T14:46:58Z) - Self-Supervised Learning with Multi-View Rendering for 3D Point Cloud
Analysis [33.31864436614945]
本稿では,3次元点雲モデルのための新しい事前学習手法を提案する。
我々の事前訓練は、局所的なピクセル/ポイントレベルの対応損失と、大域的な画像/ポイントの雲のレベル損失によって自己管理される。
これらの改善されたモデルは、さまざまなデータセットや下流タスクにおける既存の最先端メソッドよりも優れています。
論文 参考訳(メタデータ) (2022-10-28T05:23:03Z) - Weakly Supervised 3D Object Detection from Lidar Point Cloud [182.67704224113862]
高品質な3Dオブジェクト検出器をトレーニングするために、ポイントクラウドデータに手動でラベルをつけるのはむずかしい。
本研究は、3次元物体検出のための弱教師付きアプローチを提案する。
提案手法は,500の弱い注釈付きシーンと534の正確なラベル付き車両インスタンスを用いて,現在のトップリード型全監視検出器の性能を85~95%向上させる。
論文 参考訳(メタデータ) (2020-07-23T10:12:46Z) - PointContrast: Unsupervised Pre-training for 3D Point Cloud
Understanding [107.02479689909164]
本研究では,3次元表現学習の研究を支援することを目的とする。
教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
論文 参考訳(メタデータ) (2020-07-21T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。