論文の概要: SnapshotNet: Self-supervised Feature Learning for Point Cloud Data
Segmentation Using Minimal Labeled Data
- arxiv url: http://arxiv.org/abs/2201.04833v1
- Date: Thu, 13 Jan 2022 08:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 13:54:40.170937
- Title: SnapshotNet: Self-supervised Feature Learning for Point Cloud Data
Segmentation Using Minimal Labeled Data
- Title（参考訳）: snapshotnet: 最小ラベルデータを用いたポイントクラウドデータセグメンテーションのための自己教師付き特徴学習
- Authors: Xingye Li, Ling Zhang, Zhigang Zhu
- Abstract要約: SnapshotNetは、複雑な3Dポイントクラウドデータセットのための自己教師付き機能学習アプローチとして提案されている。
弱い教師付きセグメンテーションステージは、ラベル付きスナップショットのごく一部で学習した機能に対して、まず標準SVMをトレーニングすることで実装される。
実験はSemantic3Dデータセットを用いて行われ、提案手法はラベルなしで複雑なシーンデータのスナップショットから効果的な特徴を学習できることを示した。
- 参考スコア（独自算出の注目度）: 8.433424785619108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Manually annotating complex scene point cloud datasets is both costly and
error-prone. To reduce the reliance on labeled data, a new model called
SnapshotNet is proposed as a self-supervised feature learning approach, which
directly works on the unlabeled point cloud data of a complex 3D scene. The
SnapshotNet pipeline includes three stages. In the snapshot capturing stage,
snapshots, which are defined as local collections of points, are sampled from
the point cloud scene. A snapshot could be a view of a local 3D scan directly
captured from the real scene, or a virtual view of such from a large 3D point
cloud dataset. Snapshots could also be sampled at different sampling rates or
fields of view (FOVs), thus multi-FOV snapshots, to capture scale information
from the scene. In the feature learning stage, a new pre-text task called
multi-FOV contrasting is proposed to recognize whether two snapshots are from
the same object or not, within the same FOV or across different FOVs. Snapshots
go through two self-supervised learning steps: the contrastive learning step
with both part and scale contrasting, followed by a snapshot clustering step to
extract higher level semantic features. Then a weakly-supervised segmentation
stage is implemented by first training a standard SVM classifier on the learned
features with a small fraction of labeled snapshots. The trained SVM is used to
predict labels for input snapshots and predicted labels are converted into
point-wise label assignments for semantic segmentation of the entire scene
using a voting procedure. The experiments are conducted on the Semantic3D
dataset and the results have shown that the proposed method is capable of
learning effective features from snapshots of complex scene data without any
labels. Moreover, the proposed method has shown advantages when comparing to
the SOA method on weakly-supervised point cloud semantic segmentation.
- Abstract（参考訳）: 手動でアノテートする複雑なシーンポイントクラウドデータセットは、コストもエラーも高い。
ラベル付きデータへの依存を軽減するため、SnapshotNetと呼ばれる新しいモデルが、複雑な3Dシーンの未ラベルのクラウドデータを直接扱うセルフ教師付き機能学習アプローチとして提案されている。
SnapshotNetパイプラインには3つのステージがある。
スナップショットキャプチャの段階では、ポイントのローカルコレクションとして定義されるスナップショットが、ポイントクラウドシーンからサンプリングされる。
スナップショットは、実シーンから直接キャプチャされたローカル3Dスキャンのビュー、あるいは大規模な3Dポイントクラウドデータセットからの仮想ビューである。
スナップショットは異なるサンプリングレートまたはビューフィールド(fov)でサンプリングすることもでき、シーンからスケール情報をキャプチャできる。
特徴学習の段階では、2つのスナップショットが同一のオブジェクトから、同一のFOV内で、または異なるFOV間で、認識するために、マルチFOVコントラストと呼ばれる新しいプレテキストタスクが提案される。
スナップショットは、パートとスケールのコントラストを持つコントラスト学習ステップと、より高いレベルのセマンティック特徴を抽出するスナップショットクラスタリングステップの2つの自己教師型学習ステップを経る。
次に、まず、ラベル付きスナップショットのごく一部で学習した特徴に対して標準SVM分類器をトレーニングすることにより、弱教師付きセグメンテーションステージを実装する。
トレーニングされたSVMは入力スナップショットのラベルを予測するために使用され、予測されたラベルは投票手順を使用してシーン全体のセマンティックセグメンテーションのためのポイントワイズラベルに変換される。
実験はSemantic3Dデータセットを用いて行われ、提案手法はラベルなしで複雑なシーンデータのスナップショットから効果的な特徴を学習できることを示した。
さらに,提案手法は,弱教師付きポイントクラウドセマンティクスセグメンテーションにおけるsoa手法と比較した場合の利点を示した。
関連論文リスト
- Point-In-Context: Understanding Point Cloud via In-Context Learning [67.20277182808992]
In-context Learningによる3Dポイントクラウド理解のための新しいフレームワークであるPoint-In-Context(PIC)を紹介した。
マスク付き点モデリングを3次元点群に効果的に拡張するという技術的課題に,Joint Smplingモジュールを導入して対処する。
In-Context LabelingとIn-Context Enhancingという2つの新しいトレーニング戦略を提案し、PICの拡張版であるPoint-In-Context-Segmenter(PIC-S)を作成している。
論文 参考訳（メタデータ） (2024-04-18T17:32:32Z) - Transferring CLIP's Knowledge into Zero-Shot Point Cloud Semantic
Segmentation [17.914290294935427]
従来の3Dセグメンテーション手法では、トレーニングセットに現れる一定の範囲のクラスしか認識できない。
CLIPのような大規模ビジュアル言語事前訓練モデルでは、ゼロショット2Dビジョンタスクにおいて、その一般化能力を示している。
本稿では,CLIPが入力する視覚言語知識をクラウドエンコーダに転送するための,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2023-12-12T12:35:59Z) - FreePoint: Unsupervised Point Cloud Instance Segmentation [72.64540130803687]
点クラウド上の教師なしクラス非依存のインスタンスセグメンテーションを探索するためのFreePointを提案する。
我々は、座標、色、そして自己監督の深い特徴を組み合わせることで、点の特徴を表現する。
ポイント機能に基づいて、ポイントクラウドを擬似ラベルとして粗いインスタンスマスクに分割し、ポイントクラウドインスタンスセグメンテーションモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-05-11T16:56:26Z) - Contrastive Learning for Self-Supervised Pre-Training of Point Cloud
Segmentation Networks With Image Data [7.145862669763328]
ラベルのないデータに対する自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。
画像と点の雲のモダリティを、まず自己教師付き画像の特徴を学習し、これらの特徴を使って3Dモデルを訓練する。
我々の事前学習法はシーンの1つのスキャンしか必要とせず、ローカライゼーション情報が利用できないケースにも適用できる。
論文 参考訳（メタデータ） (2023-01-18T03:14:14Z) - Self-Supervised Pre-training of 3D Point Cloud Networks with Image Data [6.121574833847397]
大規模なアンラベリングデータセット上での自己教師付き事前トレーニングは、手動アノテーションの量を減らす方法のひとつだ。
本研究では,画像と点雲のモダリティを組み合わせて,まず自己教師付き画像の特徴を学習し,これらの特徴を用いて3Dモデルを訓練する。
多くの3Dデータセットに含まれる画像データを組み込むことで、事前学習にはシーンの1つのスキャンしか必要としない。
論文 参考訳（メタデータ） (2022-11-21T19:09:52Z) - Image Understands Point Cloud: Weakly Supervised 3D Semantic
Segmentation via Association Learning [59.64695628433855]
ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。
基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。
提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
論文 参考訳（メタデータ） (2022-09-16T07:59:04Z) - Active Self-Training for Weakly Supervised 3D Scene Semantic
Segmentation [17.27850877649498]
本稿では,自己学習と能動的学習を組み合わせた3次元シーンの弱教師付きセグメンテーション手法を提案する。
提案手法は,従来の作業やベースラインよりもシーンセグメンテーションを改善する効果的な手法であることを示す。
論文 参考訳（メタデータ） (2022-09-15T06:00:25Z) - UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。
大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。
また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
論文 参考訳（メタデータ） (2022-03-14T10:04:04Z) - Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。
特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。
本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
論文 参考訳（メタデータ） (2021-10-13T10:52:45Z) - Data Augmentation for Object Detection via Differentiable Neural
Rendering [71.00447761415388]
注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。
この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。
オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
論文 参考訳（メタデータ） (2021-03-04T06:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。