論文の概要: Foundation Model assisted Weakly Supervised LiDAR Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2404.12861v1
• Date: Fri, 19 Apr 2024 13:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 14:57:17.405866
• Title: Foundation Model assisted Weakly Supervised LiDAR Semantic Segmentation
• Title（参考訳）: 弱修正LiDARセマンティックセグメンテーションのファンデーションモデル
• Authors: Yilong Chen, Zongyi Xu, xiaoshui Huang, Ruicheng Zhang, Xinqi Jiang, Xinbo Gao,
• Abstract要約: 本稿では,画像に散在点を付加したアノテート画像を提案し,SAMを用いて画像のセマンティックセグメンテーションラベルを生成する。 Scatter-KITTI と Scatter-nuScenes は,イメージセグメンテーションに基づくSAM を弱教師付きポイントクラウドセグメンテーションに利用するための最初の試みである。 そこで我々は, MM-ScatterNet と呼ばれるLiDARセマンティックセグメンテーションのためのマルチモーダル弱教師付きネットワークを提案する。
• 参考スコア（独自算出の注目度）: 38.715754110667916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current point cloud semantic segmentation has achieved great advances when given sufficient labels. However, the dense annotation of LiDAR point clouds remains prohibitively expensive and time-consuming, unable to keep up with the continuously growing volume of data. In this paper, we propose annotating images with scattered points, followed by utilizing SAM (a Foundation model) to generate semantic segmentation labels for the images. Finally, by mapping the segmentation labels of the images to the LiDAR space using the intrinsic and extrinsic parameters of the camera and LiDAR, we obtain labels for point cloud semantic segmentation, and release Scatter-KITTI and Scatter-nuScenes, which are the first works to utilize image segmentation-based SAM for weakly supervised point cloud semantic segmentation. Furthermore, to mitigate the influence of erroneous pseudo labels obtained from sparse annotations on point cloud features, we propose a multi-modal weakly supervised network for LiDAR semantic segmentation, called MM-ScatterNet. This network combines features from both point cloud and image modalities, enhancing the representation learning of point clouds by introducing consistency constraints between multi-modal features and point cloud features. On the SemanticKITTI dataset, we achieve 66\% of fully supervised performance using only 0.02% of annotated data, and on the NuScenes dataset, we achieve 95% of fully supervised performance using only 0.1% labeled points.
• Abstract（参考訳）: 現在のクラウドセマンティックセグメンテーションは、十分なラベルを与えると大きな進歩を遂げた。 しかし、LiDAR点雲の濃密なアノテーションは、不当に高価で時間がかかり、継続的に増加するデータの量に追従できないままである。 本稿では,画像に散在点を付加したアノテート画像を提案するとともに,SAM(ファンデーションモデル)を用いて画像のセマンティックセグメンテーションラベルを生成する。 最後に、カメラとLiDARの内在的・外在的パラメータを用いて、画像のセグメンテーションラベルをLiDAR空間にマッピングすることにより、ポイントクラウドセグメンテーションのためのラベルを取得し、画像セグメンテーションに基づくSAMを弱教師付きポイントクラウドセグメンテーションに活用するための最初の研究であるScatter-KITTIとScatter-nuScenesをリリースする。 さらに,スパースアノテーションから得られた偽ラベルがポイントクラウドの特徴に与える影響を軽減するために,MM-ScatterNetと呼ばれるLiDARセマンティックセマンティックセグメンテーションのためのマルチモーダル弱教師付きネットワークを提案する。 このネットワークは、ポイントクラウドとイメージモダリティの両方の機能を組み合わせて、マルチモーダル機能とポイントクラウド機能間の一貫性の制約を導入することで、ポイントクラウドの表現学習を強化する。 In the SemanticKITTI dataset, we achieve 66\% of full supervised performance using only 0.02% of annotated data, and on the NuScenes dataset, we achieve 95% of full supervised performance using only 0.1% labeled points。

関連論文リスト

• 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation [92.17700318483745]
  合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。 IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
  論文  参考訳（メタデータ） (2023-11-27T07:57:29Z)
• 3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks [26.29122638813974]
  本稿では,3次元ネットワークと2次元ネットワークの相互学習を用いて,スパースアノテーションから頑健に学習できるフレームワークを提案する。 MMWHSデータセットに対する実験結果から,本手法は最先端(SOTA)半教師付きセグメンテーション法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-30T15:26:17Z)
• Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud [69.36717778451667]
  大規模なポイントクラウドセマンティックセグメンテーションのための既存の方法は、高価な、退屈でエラーを起こしやすい手動のポイントワイドアノテーションを必要とする。 この問題を解決するために,2つのコンポーネントを含む効果的な弱教師付き手法を提案する。 実験結果から,既存の弱教師付き手法と完全教師付き手法を比較検討した。
  論文  参考訳（メタデータ） (2022-12-09T09:42:26Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Scribble-Supervised Medical Image Segmentation via Dual-Branch Network and Dynamically Mixed Pseudo Labels Supervision [15.414578073908906]
  単純で効率的なスクリブル教師付き画像分割法を提案し,それを心臓MRIセグメント化に適用する。 このスクリブル・インスペクションと補助擬似ラベル・インスペクションを組み合わせることで、デュアルブランチ・ネットワークは、スクリブル・アノテーションからエンドツーエンドまで効率的に学習することができる。
  論文  参考訳（メタデータ） (2022-03-04T02:50:30Z)
• Semi-weakly Supervised Contrastive Representation Learning for Retinal Fundus Images [0.2538209532048867]
  本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。 SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
  論文  参考訳（メタデータ） (2021-08-04T15:50:09Z)
• One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation [78.36781565047656]
  私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 私たちの結果は、完全に監督されたものと同等です。
  論文  参考訳（メタデータ） (2021-04-06T02:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。