論文の概要: Foundation Model assisted Weakly Supervised LiDAR Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2404.12861v1
- Date: Fri, 19 Apr 2024 13:01:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:57:17.405866
- Title: Foundation Model assisted Weakly Supervised LiDAR Semantic Segmentation
- Title(参考訳): 弱修正LiDARセマンティックセグメンテーションのファンデーションモデル
- Authors: Yilong Chen, Zongyi Xu, xiaoshui Huang, Ruicheng Zhang, Xinqi Jiang, Xinbo Gao,
- Abstract要約: 本稿では,画像に散在点を付加したアノテート画像を提案し,SAMを用いて画像のセマンティックセグメンテーションラベルを生成する。
Scatter-KITTI と Scatter-nuScenes は,イメージセグメンテーションに基づくSAM を弱教師付きポイントクラウドセグメンテーションに利用するための最初の試みである。
そこで我々は, MM-ScatterNet と呼ばれるLiDARセマンティックセグメンテーションのためのマルチモーダル弱教師付きネットワークを提案する。
- 参考スコア(独自算出の注目度): 38.715754110667916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current point cloud semantic segmentation has achieved great advances when given sufficient labels. However, the dense annotation of LiDAR point clouds remains prohibitively expensive and time-consuming, unable to keep up with the continuously growing volume of data. In this paper, we propose annotating images with scattered points, followed by utilizing SAM (a Foundation model) to generate semantic segmentation labels for the images. Finally, by mapping the segmentation labels of the images to the LiDAR space using the intrinsic and extrinsic parameters of the camera and LiDAR, we obtain labels for point cloud semantic segmentation, and release Scatter-KITTI and Scatter-nuScenes, which are the first works to utilize image segmentation-based SAM for weakly supervised point cloud semantic segmentation. Furthermore, to mitigate the influence of erroneous pseudo labels obtained from sparse annotations on point cloud features, we propose a multi-modal weakly supervised network for LiDAR semantic segmentation, called MM-ScatterNet. This network combines features from both point cloud and image modalities, enhancing the representation learning of point clouds by introducing consistency constraints between multi-modal features and point cloud features. On the SemanticKITTI dataset, we achieve 66\% of fully supervised performance using only 0.02% of annotated data, and on the NuScenes dataset, we achieve 95% of fully supervised performance using only 0.1% labeled points.
- Abstract(参考訳): 現在のクラウドセマンティックセグメンテーションは、十分なラベルを与えると大きな進歩を遂げた。
しかし、LiDAR点雲の濃密なアノテーションは、不当に高価で時間がかかり、継続的に増加するデータの量に追従できないままである。
本稿では,画像に散在点を付加したアノテート画像を提案するとともに,SAM(ファンデーションモデル)を用いて画像のセマンティックセグメンテーションラベルを生成する。
最後に、カメラとLiDARの内在的・外在的パラメータを用いて、画像のセグメンテーションラベルをLiDAR空間にマッピングすることにより、ポイントクラウドセグメンテーションのためのラベルを取得し、画像セグメンテーションに基づくSAMを弱教師付きポイントクラウドセグメンテーションに活用するための最初の研究であるScatter-KITTIとScatter-nuScenesをリリースする。
さらに,スパースアノテーションから得られた偽ラベルがポイントクラウドの特徴に与える影響を軽減するために,MM-ScatterNetと呼ばれるLiDARセマンティックセマンティックセグメンテーションのためのマルチモーダル弱教師付きネットワークを提案する。
このネットワークは、ポイントクラウドとイメージモダリティの両方の機能を組み合わせて、マルチモーダル機能とポイントクラウド機能間の一貫性の制約を導入することで、ポイントクラウドの表現学習を強化する。
In the SemanticKITTI dataset, we achieve 66\% of full supervised performance using only 0.02% of annotated data, and on the NuScenes dataset, we achieve 95% of full supervised performance using only 0.1% labeled points。
関連論文リスト
- A Lightweight Clustering Framework for Unsupervised Semantic
Segmentation [28.907274978550493]
教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。
教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。
本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2023-11-30T15:33:42Z) - Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud [69.36717778451667]
大規模なポイントクラウドセマンティックセグメンテーションのための既存の方法は、高価な、退屈でエラーを起こしやすい手動のポイントワイドアノテーションを必要とする。
この問題を解決するために,2つのコンポーネントを含む効果的な弱教師付き手法を提案する。
実験結果から,既存の弱教師付き手法と完全教師付き手法を比較検討した。
論文 参考訳(メタデータ) (2022-12-09T09:42:26Z) - LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。
本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。
提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
論文 参考訳(メタデータ) (2022-10-14T19:13:36Z) - Scribble-Supervised LiDAR Semantic Segmentation [102.62963605429508]
我々は、LiDARの点雲に注釈をつけるためにスクリブルを使用し、LiDARセマンティックセマンティックセグメンテーションのための最初のスクリブルアノテートデータセットであるScribbleKITTIをリリースする。
私たちのパイプラインは3つのスタンドアロンコントリビューションで構成されており、すべてのLiDARセマンティックセグメンテーションモデルと組み合わせて、完全に管理されたパフォーマンスの95.7%を達成できます。
論文 参考訳(メタデータ) (2022-03-16T11:01:23Z) - PointMatch: A Consistency Training Framework for Weakly Supervised
Semantic Segmentation of 3D Point Clouds [117.77841399002666]
本稿では,データ自体から十分な情報を探索するために整合性正規化を適用することで,データとラベルの両面に立つ新しいフレームワークであるPointMatchを提案する。
提案したPointMatchは、ScanNet-v2データセットとS3DISデータセットの両方で、様々な弱い教師付きスキームの下で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-02-22T07:26:31Z) - Point Cloud Instance Segmentation with Semi-supervised Bounding-Box
Mining [17.69745159912481]
ラベル付きおよび未ラベルのバウンディングボックスを監視として使用した,最初の半教師付きポイントクラウドインスタンスセグメンテーションフレームワーク(SPIB)を紹介した。
提案手法は,近年の完全教師付き手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2021-11-30T08:40:40Z) - CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。
CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
論文 参考訳(メタデータ) (2021-11-02T16:44:06Z) - Dense Supervision Propagation for Weakly Supervised Semantic Segmentation on 3D Point Clouds [59.63231842439687]
意味点クラウドセグメンテーションネットワークをトレーニングする。
同様の特徴を伝達し、2つのサンプルにまたがる勾配を再現するクロスサンプル機能再配置モジュールを提案する。
ラベルの10%と1%しか持たない弱教師付き手法では、完全教師付き手法と互換性のある結果が得られる。
論文 参考訳(メタデータ) (2021-07-23T14:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。