論文の概要: Self-Supervised Pre-training of 3D Point Cloud Networks with Image Data

• arxiv url: http://arxiv.org/abs/2211.11801v1
• Date: Mon, 21 Nov 2022 19:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:45:15.359709
• Title: Self-Supervised Pre-training of 3D Point Cloud Networks with Image Data
• Title（参考訳）: 画像データを用いた3Dポイントクラウドネットワークの自己教師付き事前学習
• Authors: Andrej Janda, Brandon Wagstaff, Edwin G. Ng, Jonathan Kelly
• Abstract要約: 大規模なアンラベリングデータセット上での自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。 本研究では,画像と点雲のモダリティを組み合わせて,まず自己教師付き画像の特徴を学習し,これらの特徴を用いて3Dモデルを訓練する。 多くの3Dデータセットに含まれる画像データを組み込むことで、事前学習にはシーンの1つのスキャンしか必要としない。
• 参考スコア（独自算出の注目度）: 6.121574833847397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reducing the quantity of annotations required for supervised training is vital when labels are scarce and costly. This reduction is especially important for semantic segmentation tasks involving 3D datasets that are often significantly smaller and more challenging to annotate than their image-based counterparts. Self-supervised pre-training on large unlabelled datasets is one way to reduce the amount of manual annotations needed. Previous work has focused on pre-training with point cloud data exclusively; this approach often requires two or more registered views. In the present work, we combine image and point cloud modalities, by first learning self-supervised image features and then using these features to train a 3D model. By incorporating image data, which is often included in many 3D datasets, our pre-training method only requires a single scan of a scene. We demonstrate that our pre-training approach, despite using single scans, achieves comparable performance to other multi-scan, point cloud-only methods.
• Abstract（参考訳）: ラベルが不足しコストがかかる場合、教師付きトレーニングに必要なアノテーションの量を減らすことが不可欠です。 この削減は、3Dデータセットを含むセマンティックセグメンテーションタスクにおいて特に重要である。 大規模な非ラベルデータセットでの自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。 従来の作業では、ポイントクラウドデータのみを使用した事前トレーニングに重点を置いていた。 本研究では,まず自己教師付き画像特徴を学習し,その特徴を用いて3次元モデルを訓練することにより,画像とポイントクラウドのモダリティを組み合わせる。 多くの3dデータセットにしばしば含まれるイメージデータを組み込むことで、事前トレーニング方法はシーンの単一のスキャンのみを必要とする。 当社の事前トレーニングアプローチは、単一のスキャンを使用しても、他のマルチスキャン、ポイントクラウドのみの方法と同等のパフォーマンスを実現しています。

関連論文リスト

• Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection [52.66283064389691]
  最先端の3Dオブジェクト検出器は、しばしば大量のラベル付きデータセットで訓練される。 近年の研究では、ラベル付きデータによる自己教師付き事前学習が、ラベル付きラベルによる検出精度を向上させることが示されている。 組合わせRGBとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-14T15:21:57Z)
• PRED: Pre-training via Semantic Rendering on LiDAR Point Clouds [18.840000859663153]
  本稿では,屋外点雲のための画像支援事前学習フレームワークPreDを提案する。 我々のフレームワークの主な構成要素は、Birds-Eye-View (BEV) 機能マップ条件付きセマンティックレンダリングである。 我々は、高マスキング比のポイントワイドマスクを組み込むことにより、モデルの性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-11-08T07:26:09Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• You Only Need One Thing One Click: Self-Training for Weakly Supervised 3D Scene Understanding [107.06117227661204]
  私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
  論文  参考訳（メタデータ） (2023-03-26T13:57:00Z)
• Contrastive Learning for Self-Supervised Pre-Training of Point Cloud Segmentation Networks With Image Data [7.145862669763328]
  ラベルのないデータに対する自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。 画像と点の雲のモダリティを、まず自己教師付き画像の特徴を学習し、これらの特徴を使って3Dモデルを訓練する。 我々の事前学習法はシーンの1つのスキャンしか必要とせず、ローカライゼーション情報が利用できないケースにも適用できる。
  論文  参考訳（メタデータ） (2023-01-18T03:14:14Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting [94.11915008006483]
  本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。 ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。 また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
  論文  参考訳（メタデータ） (2022-08-04T17:59:03Z)
• Self-Supervised Pretraining of 3D Features on any Point-Cloud [40.26575888582241]
  3D登録なしで任意の3Dデータを扱うことができる簡単な自己監督関連方法を紹介します。 オブジェクト検出、セマンティックセグメンテーション、オブジェクト分類の9つのベンチマークでモデルを評価し、最新の結果を達成し、教師付きプリトレーニングを上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:55:21Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。