論文の概要: Point2Vec for Self-Supervised Representation Learning on Point Clouds
- arxiv url: http://arxiv.org/abs/2303.16570v2
- Date: Wed, 11 Oct 2023 10:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 22:52:57.736779
- Title: Point2Vec for Self-Supervised Representation Learning on Point Clouds
- Title(参考訳): 点雲上の自己教師あり表現学習のためのpoint2vec
- Authors: Karim Abou Zeid and Jonas Schult and Alexander Hermans and Bastian
Leibe
- Abstract要約: Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。
我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
- 参考スコア(独自算出の注目度): 66.53955515020053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the self-supervised learning framework data2vec has shown inspiring
performance for various modalities using a masked student-teacher approach.
However, it remains open whether such a framework generalizes to the unique
challenges of 3D point clouds. To answer this question, we extend data2vec to
the point cloud domain and report encouraging results on several downstream
tasks. In an in-depth analysis, we discover that the leakage of positional
information reveals the overall object shape to the student even under heavy
masking and thus hampers data2vec to learn strong representations for point
clouds. We address this 3D-specific shortcoming by proposing point2vec, which
unleashes the full potential of data2vec-like pre-training on point clouds. Our
experiments show that point2vec outperforms other self-supervised methods on
shape classification and few-shot learning on ModelNet40 and ScanObjectNN,
while achieving competitive results on part segmentation on ShapeNetParts.
These results suggest that the learned representations are strong and
transferable, highlighting point2vec as a promising direction for
self-supervised learning of point cloud representations.
- Abstract(参考訳): 近年,自己教師型学習フレームワークであるData2vecは,マスマスキング学習者のアプローチを用いて,様々なモダリティのパフォーマンス向上を図っている。
しかし、そのようなフレームワークが3Dポイントクラウドのユニークな課題に一般化するかどうかはまだ明らかではない。
この質問に答えるために、data2vecをpoint cloudドメインに拡張し、いくつかのダウンストリームタスクの結果を奨励する結果を報告します。
詳細な分析により,位置情報の漏洩により,マスキングが重かった場合でも学生の全体像が明らかとなり,データ2vecを阻害し,ポイントクラウドの強い表現を学習できることが判明した。
我々は、この3D特有の欠点に、ポイントクラウド上でData2vecのような事前学習の可能性を解放するPoint2vecを提案する。
実験の結果, ModelNet40 や ScanObjectNN では, 形状分類や少数ショット学習において他の自己指導手法よりも優れており, 形状分割における競合的な結果が得られている。
これらの結果から,学習された表現は強く伝達可能であることが示唆され,ポイントクラウド表現の自己教師型学習の有望な方向として2vecが強調された。
関連論文リスト
- HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。
提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
論文 参考訳(メタデータ) (2024-03-18T14:18:08Z) - Cross-Modal Information-Guided Network using Contrastive Learning for
Point Cloud Registration [17.420425069785946]
本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。
まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。
コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
論文 参考訳(メタデータ) (2023-11-02T12:56:47Z) - Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳(メタデータ) (2023-07-27T03:42:12Z) - Explore In-Context Learning for 3D Point Cloud Understanding [71.20912026561484]
我々は,特に3Dポイントクラウドにおけるコンテキスト内学習のために設計された,ポイント・イン・コンテキストという新しいフレームワークを紹介した。
一般点サンプリング演算子とタンデムで協調して動作するように慎重に設計したJoint Smplingモジュールを提案する。
提案手法の汎用性と適応性を検証するため,幅広いタスクを扱うための広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-06-14T17:53:21Z) - Self-supervised Learning for Pre-Training 3D Point Clouds: A Survey [25.51613543480276]
近年,自己管理型ポイントクラウド表現学習が注目されている。
本稿では,DNNを用いた自己教師型ポイントクラウド表現学習に関する包括的調査を行う。
論文 参考訳(メタデータ) (2023-05-08T13:20:55Z) - Variational Relational Point Completion Network for Robust 3D
Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。
本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。
VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-04-18T17:03:20Z) - Self-Supervised Feature Learning from Partial Point Clouds via Pose
Disentanglement [35.404285596482175]
部分点雲から情報表現を学習するための,新たな自己教師型フレームワークを提案する。
コンテンツとポーズ属性の両方を含むLiDARでスキャンされた部分点雲を利用する。
提案手法は,既存の自己教師付き手法に勝るだけでなく,合成および実世界のデータセット間でのより優れた一般化性を示す。
論文 参考訳(メタデータ) (2022-01-09T14:12:50Z) - Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。
特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。
本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
論文 参考訳(メタデータ) (2021-10-13T10:52:45Z) - PnP-3D: A Plug-and-Play for 3D Point Clouds [38.05362492645094]
本稿では,既存ネットワークのポイントクラウドデータ解析における有効性を改善するために,プラグイン・アンド・プレイモジュール -3D を提案する。
アプローチを徹底的に評価するために,3つの標準的なクラウド分析タスクについて実験を行った。
本研究は,最先端の成果の達成に加えて,我々のアプローチのメリットを実証する包括的研究を提案する。
論文 参考訳(メタデータ) (2021-08-16T23:59:43Z) - DRINet: A Dual-Representation Iterative Learning Network for Point Cloud
Segmentation [45.768040873409824]
DRINetは二重表現学習の基本的なネットワーク構造として機能する。
我々のネットワークは、ポイントクラウド分類とセグメンテーションタスクの最先端の結果を達成する。
大規模屋外シナリオでは,提案手法はフレーム当たり62msのリアルタイム推論速度で最先端の手法より優れる。
論文 参考訳(メタデータ) (2021-08-09T13:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。