論文の概要: PointDC:Unsupervised Semantic Segmentation of 3D Point Clouds via
Cross-modal Distillation and Super-Voxel Clustering
- arxiv url: http://arxiv.org/abs/2304.08965v5
- Date: Tue, 2 Jan 2024 14:32:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 20:13:45.147904
- Title: PointDC:Unsupervised Semantic Segmentation of 3D Point Clouds via
Cross-modal Distillation and Super-Voxel Clustering
- Title（参考訳）: pointdc:クロスモーダル蒸留とスーパーボクセルクラスタリングによる3次元点雲の教師なしセグメンテーション
- Authors: Zisheng Chen, Hongbin Xu, Weitao Chen, Zhipeng Zhou, Haihong Xiao,
Baigui Sun, Xuansong Xie, Wenxiong Kang
- Abstract要約: 我々は、ポイントクラウドの完全な教師なしセマンティックセマンティックセグメンテーションの最初の試みを行う。
本稿では,上記の問題に対処する2つのステップからなる新しいフレームワークであるPointDCを提案する。
PointDCは、従来の最先端の教師なし手法よりも大幅に改善されている。
- 参考スコア（独自算出の注目度）: 32.18716273358168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation of point clouds usually requires exhausting efforts of
human annotations, hence it attracts wide attention to the challenging topic of
learning from unlabeled or weaker forms of annotations. In this paper, we take
the first attempt for fully unsupervised semantic segmentation of point clouds,
which aims to delineate semantically meaningful objects without any form of
annotations. Previous works of unsupervised pipeline on 2D images fails in this
task of point clouds, due to: 1) Clustering Ambiguity caused by limited
magnitude of data and imbalanced class distribution; 2) Irregularity Ambiguity
caused by the irregular sparsity of point cloud. Therefore, we propose a novel
framework, PointDC, which is comprised of two steps that handle the
aforementioned problems respectively: Cross-Modal Distillation (CMD) and
Super-Voxel Clustering (SVC). In the first stage of CMD, multi-view visual
features are back-projected to the 3D space and aggregated to a unified point
feature to distill the training of the point representation. In the second
stage of SVC, the point features are aggregated to super-voxels and then fed to
the iterative clustering process for excavating semantic classes. PointDC
yields a significant improvement over the prior state-of-the-art unsupervised
methods, on both the ScanNet-v2 (+18.4 mIoU) and S3DIS (+11.5 mIoU) semantic
segmentation benchmarks.
- Abstract（参考訳）: 点雲の意味セグメンテーションは、通常、人間のアノテーションの枯渇する努力を必要とするため、ラベルのない、またはより弱い形のアノテーションから学ぶことの難しいトピックに広く注目される。
本稿では,アノテーションを使わずに意味論的に意味のあるオブジェクトを記述することを目的とした,ポイントクラウドの完全教師なしセマンティックセマンティックセマンティックセマンティック化の試みを行う。
2dイメージに対する教師なしパイプラインの以前の作業は、ポイントクラウドのこのタスクでは失敗する。
1) データの大きさの制限とクラス分布の不均衡による曖昧さのクラスタリング
2)点雲の不規則なスパース性に起因する不規則な曖昧さ。
そこで本稿では, 上記の問題をそれぞれ処理する2つのステップ, クロスモーダル蒸留 (CMD) とスーパーボクセルクラスタリング (SVC) からなる新しいフレームワークであるPointDCを提案する。
CMDの第1段階では、多視点視覚特徴は3次元空間にバックプロジェクションされ、統一された点特徴に集約され、点表現の訓練を蒸留する。
svcの第2段階では、ポイント機能はスーパーボクセルに集約され、セマンティクスクラスを発掘するために反復クラスタリングプロセスに供給される。
pointdc は、scannet-v2 (+18.4 miou) と s3dis (+11.5 miou) のセマンティクスセグメンテーションベンチマークの両方において、以前の最先端の教師なしメソッドを大きく改善する。
関連論文リスト
- Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳（メタデータ） (2023-07-27T03:42:12Z) - CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud
Semantic Segmentation [60.0893353960514]
疎アノテーションを用いた弱教師付きポイントクラウドセマンティックセマンティックセグメンテーションの課題について検討する。
本研究では,地域マスキング(RegionMask)戦略とコンテキストマスキングトレーニング(CMT)手法の2つの部分からなるコンテキストポイントクラウドモデリング(CPCM)手法を提案する。
論文 参考訳（メタデータ） (2023-07-19T04:41:18Z) - FreePoint: Unsupervised Point Cloud Instance Segmentation [72.64540130803687]
点クラウド上の教師なしクラス非依存のインスタンスセグメンテーションを探索するためのFreePointを提案する。
我々は、座標、色、そして自己監督の深い特徴を組み合わせることで、点の特徴を表現する。
ポイント機能に基づいて、ポイントクラウドを擬似ラベルとして粗いインスタンスマスクに分割し、ポイントクラウドインスタンスセグメンテーションモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-05-11T16:56:26Z) - Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。
我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
論文 参考訳（メタデータ） (2023-03-29T10:08:29Z) - Few-Shot 3D Point Cloud Semantic Segmentation via Stratified
Class-Specific Attention Based Transformer Network [22.9434434107516]
数ショットのクラウドセマンティックセマンティックセグメンテーションのための新しい多層トランスフォーマーネットワークを開発した。
提案手法は,既存の数ショットの3Dポイントクラウドセグメンテーションモデルよりも15%少ない推論時間で,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2023-03-28T00:27:54Z) - Learning Inter-Superpoint Affinity for Weakly Supervised 3D Instance
Segmentation [10.968271388503986]
本稿では,各インスタンスに1点だけアノテートすることで,優れたパフォーマンスを実現する3Dインスタンスセグメンテーションフレームワークを提案する。
本手法は,弱教師付きポイントクラウドインスタンスセグメンテーションタスクにおける最先端性能を実現し,完全教師付き手法よりも優れる。
論文 参考訳（メタデータ） (2022-10-11T15:22:22Z) - Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。
特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。
本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
論文 参考訳（メタデータ） (2021-10-13T10:52:45Z) - Few-shot 3D Point Cloud Semantic Segmentation [138.80825169240302]
本稿では,新しい注意型マルチプロトタイプトランスダクティブ・ショットポイント・クラウドセマンティックセマンティック・セマンティクス法を提案する。
提案手法は,雲のセマンティックセマンティックセグメンテーション設定の違いによるベースラインに比べて,顕著で一貫した改善を示す。
論文 参考訳（メタデータ） (2020-06-22T08:05:25Z) - Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point
Clouds of Wild Scenes [36.07733308424772]
3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。
本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-26T23:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。