論文の概要: Contrastive Learning for Self-Supervised Pre-Training of Point Cloud
Segmentation Networks With Image Data
- arxiv url: http://arxiv.org/abs/2301.07283v3
- Date: Mon, 4 Sep 2023 18:38:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 06:56:35.995354
- Title: Contrastive Learning for Self-Supervised Pre-Training of Point Cloud
Segmentation Networks With Image Data
- Title(参考訳): 画像データを用いたポイントクラウドセグメンテーションネットワークの自己監督事前学習のためのコントラスト学習
- Authors: Andrej Janda, Brandon Wagstaff, Edwin G. Ng, and Jonathan Kelly
- Abstract要約: ラベルのないデータに対する自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。
画像と点の雲のモダリティを、まず自己教師付き画像の特徴を学習し、これらの特徴を使って3Dモデルを訓練する。
我々の事前学習法はシーンの1つのスキャンしか必要とせず、ローカライゼーション情報が利用できないケースにも適用できる。
- 参考スコア(独自算出の注目度): 7.145862669763328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reducing the quantity of annotations required for supervised training is
vital when labels are scarce and costly. This reduction is particularly
important for semantic segmentation tasks involving 3D datasets, which are
often significantly smaller and more challenging to annotate than their
image-based counterparts. Self-supervised pre-training on unlabelled data is
one way to reduce the amount of manual annotations needed. Previous work has
focused on pre-training with point clouds exclusively. While useful, this
approach often requires two or more registered views. In the present work, we
combine image and point cloud modalities by first learning self-supervised
image features and then using these features to train a 3D model. By
incorporating image data, which is often included in many 3D datasets, our
pre-training method only requires a single scan of a scene and can be applied
to cases where localization information is unavailable. We demonstrate that our
pre-training approach, despite using single scans, achieves comparable
performance to other multi-scan, point cloud-only methods.
- Abstract(参考訳): ラベルが不足しコストがかかる場合、教師付きトレーニングに必要なアノテーションの量を減らすことが不可欠です。
この削減は、3Dデータセットを含むセマンティックセグメンテーションタスクにおいて特に重要である。
ラベルのないデータに対する自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。
以前の作業では、ポイントクラウドのみによる事前トレーニングに重点を置いていた。
便利ではあるが、このアプローチは2つ以上の登録ビューを必要とすることが多い。
本研究では,まず自己教師付き画像特徴を学習し,その特徴を用いて3次元モデルを訓練することで,画像とポイントクラウドのモダリティを組み合わせる。
多くの3dデータセットにしばしば含まれる画像データを組み込むことで、事前学習方法はシーンのスキャンを1回だけ必要とし、ローカライズ情報が利用できない場合に適用できる。
当社の事前トレーニングアプローチは、単一のスキャンを使用しても、他のマルチスキャン、ポイントクラウドのみの方法と同等のパフォーマンスを実現しています。
関連論文リスト
- Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection [52.66283064389691]
最先端の3Dオブジェクト検出器は、しばしば大量のラベル付きデータセットで訓練される。
近年の研究では、ラベル付きデータによる自己教師付き事前学習が、ラベル付きラベルによる検出精度を向上させることが示されている。
組合わせRGBとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ制御手法を提案する。
論文 参考訳(メタデータ) (2024-06-14T15:21:57Z) - PRED: Pre-training via Semantic Rendering on LiDAR Point Clouds [18.840000859663153]
本稿では,屋外点雲のための画像支援事前学習フレームワークPreDを提案する。
我々のフレームワークの主な構成要素は、Birds-Eye-View (BEV) 機能マップ条件付きセマンティックレンダリングである。
我々は、高マスキング比のポイントワイドマスクを組み込むことにより、モデルの性能をさらに向上させる。
論文 参考訳(メタデータ) (2023-11-08T07:26:09Z) - You Only Need One Thing One Click: Self-Training for Weakly Supervised
3D Scene Understanding [107.06117227661204]
私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
論文 参考訳(メタデータ) (2023-03-26T13:57:00Z) - Self-Supervised Pre-training of 3D Point Cloud Networks with Image Data [6.121574833847397]
大規模なアンラベリングデータセット上での自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。
本研究では,画像と点雲のモダリティを組み合わせて,まず自己教師付き画像の特徴を学習し,これらの特徴を用いて3Dモデルを訓練する。
多くの3Dデータセットに含まれる画像データを組み込むことで、事前学習にはシーンの1つのスキャンしか必要としない。
論文 参考訳(メタデータ) (2022-11-21T19:09:52Z) - Image Understands Point Cloud: Weakly Supervised 3D Semantic
Segmentation via Association Learning [59.64695628433855]
ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。
基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。
提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
論文 参考訳(メタデータ) (2022-09-16T07:59:04Z) - Active Self-Training for Weakly Supervised 3D Scene Semantic
Segmentation [17.27850877649498]
本稿では,自己学習と能動的学習を組み合わせた3次元シーンの弱教師付きセグメンテーション手法を提案する。
提案手法は,従来の作業やベースラインよりもシーンセグメンテーションを改善する効果的な手法であることを示す。
論文 参考訳(メタデータ) (2022-09-15T06:00:25Z) - Self-Supervised Pretraining for 2D Medical Image Segmentation [0.0]
自己教師付き学習は、不正なデータに対して特定のドメインのモデルを事前訓練することで、手動でアノテートされたデータの必要性を下げる手段を提供する。
自然画像と対象領域固有の画像による自己教師付き事前学習は、最も速く、最も安定した下流収束をもたらす。
低データシナリオでは、教師付きImageNet事前トレーニングが最も正確であり、最小限のエラーに近づくためには100以上の注釈付きサンプルが必要である。
論文 参考訳(メタデータ) (2022-09-01T09:25:22Z) - P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with
Point-to-Pixel Prompting [94.11915008006483]
本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。
ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。
また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
論文 参考訳(メタデータ) (2022-08-04T17:59:03Z) - MaskSplit: Self-supervised Meta-learning for Few-shot Semantic
Segmentation [10.809349710149533]
本稿では,少数ショットセグメンテーションモデル学習のための自己教師付きトレーニング手法を提案する。
まず、教師なしサリエンシ推定を用いて画像上の擬似マスクを求める。
次に、擬似マスクの異なる分割と画像の拡張に対して、簡単なプロトタイプベースのモデルをトレーニングする。
論文 参考訳(メタデータ) (2021-10-23T12:30:05Z) - One Thing One Click: A Self-Training Approach for Weakly Supervised 3D
Semantic Segmentation [78.36781565047656]
私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
私たちの結果は、完全に監督されたものと同等です。
論文 参考訳(メタデータ) (2021-04-06T02:27:25Z) - PointContrast: Unsupervised Pre-training for 3D Point Cloud
Understanding [107.02479689909164]
本研究では,3次元表現学習の研究を支援することを目的とする。
教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
論文 参考訳(メタデータ) (2020-07-21T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。