論文の概要: Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation
- arxiv url: http://arxiv.org/abs/2404.12861v2
- Date: Mon, 12 Aug 2024 09:53:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:17:20.159765
- Title: Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation
- Title(参考訳): Scatter Image AnnotationによるLiDARセマンティックセマンティックセグメンテーションの弱化
- Authors: Yilong Chen, Zongyi Xu, xiaoshui Huang, Ruicheng Zhang, Xinqi Jiang, Xinbo Gao,
- Abstract要約: 画像アノテーションを用いたLiDARセマンティックセマンティックセマンティックセマンティクスを実装した。
また、パフォーマンスギャップを減らすための3つの重要な戦略を含むネットワークであるScatterNetを提案する。
本手法は,完全教師付き手法の95%以上の性能を達成するために,ラベル付き点の0.02%未満を必要とする。
- 参考スコア(独自算出の注目度): 38.715754110667916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weakly supervised LiDAR semantic segmentation has made significant strides with limited labeled data. However, most existing methods focus on the network training under weak supervision, while efficient annotation strategies remain largely unexplored. To tackle this gap, we implement LiDAR semantic segmentation using scatter image annotation, effectively integrating an efficient annotation strategy with network training. Specifically, we propose employing scatter images to annotate LiDAR point clouds, combining a pre-trained optical flow estimation network with a foundation image segmentation model to rapidly propagate manual annotations into dense labels for both images and point clouds. Moreover, we propose ScatterNet, a network that includes three pivotal strategies to reduce the performance gap caused by such annotations. Firstly, it utilizes dense semantic labels as supervision for the image branch, alleviating the modality imbalance between point clouds and images. Secondly, an intermediate fusion branch is proposed to obtain multimodal texture and structural features. Lastly, a perception consistency loss is introduced to determine which information needs to be fused and which needs to be discarded during the fusion process. Extensive experiments on the nuScenes and SemanticKITTI datasets have demonstrated that our method requires less than 0.02% of the labeled points to achieve over 95% of the performance of fully-supervised methods. Notably, our labeled points are only 5% of those used in the most advanced weakly supervised methods.
- Abstract(参考訳): 弱教師付きLiDARセマンティックセグメンテーションはラベル付きデータでかなりの進歩を遂げた。
しかし、既存のほとんどの手法は、弱い監督下でのネットワークトレーニングに重点を置いているが、効率的なアノテーション戦略はほとんど探索されていない。
このギャップに対処するために,スキャッタ画像アノテーションを用いたLiDARセマンティックセマンティックセマンティックセマンティクスを実装し,効率的なアノテーション戦略とネットワークトレーニングを効果的に統合する。
具体的には、予め訓練された光フロー推定ネットワークと基礎画像セグメンテーションモデルを組み合わせることで、手動アノテーションを画像と点雲の両方の濃密なラベルに迅速に伝播させることにより、LiDAR点雲の注釈付けに散乱画像を用いることを提案する。
さらに、このようなアノテーションによるパフォーマンスギャップを低減するために、3つの重要な戦略を含むネットワークであるScatterNetを提案する。
まず、高密度なセマンティックラベルをイメージブランチの監督に利用し、点雲と画像の間のモダリティの不均衡を緩和する。
次に,マルチモーダルなテクスチャと構造特性を得るため,中間核融合分岐を提案する。
最後に、どの情報を融合する必要があるか、融合プロセス中に破棄する必要があるかを決定するために、知覚整合性損失が導入される。
nuScenesとSemanticKITTIデータセットの大規模な実験により,完全教師付き手法の性能の95%以上を達成するためにラベル付きポイントの0.02%未満が必要であることが実証された。
特に、我々のラベル付きポイントは、最も先進的な弱教師付き手法で使用されるもののうち、わずか5%に過ぎない。
関連論文リスト
- A Lightweight Clustering Framework for Unsupervised Semantic
Segmentation [28.907274978550493]
教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。
教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。
本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2023-11-30T15:33:42Z) - FreePoint: Unsupervised Point Cloud Instance Segmentation [72.64540130803687]
点クラウド上の教師なしクラス非依存のインスタンスセグメンテーションを探索するためのFreePointを提案する。
我々は、座標、色、そして自己監督の深い特徴を組み合わせることで、点の特徴を表現する。
ポイント機能に基づいて、ポイントクラウドを擬似ラベルとして粗いインスタンスマスクに分割し、ポイントクラウドインスタンスセグメンテーションモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-05-11T16:56:26Z) - LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。
本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。
提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
論文 参考訳(メタデータ) (2022-10-14T19:13:36Z) - Scribble-Supervised LiDAR Semantic Segmentation [102.62963605429508]
我々は、LiDARの点雲に注釈をつけるためにスクリブルを使用し、LiDARセマンティックセマンティックセグメンテーションのための最初のスクリブルアノテートデータセットであるScribbleKITTIをリリースする。
私たちのパイプラインは3つのスタンドアロンコントリビューションで構成されており、すべてのLiDARセマンティックセグメンテーションモデルと組み合わせて、完全に管理されたパフォーマンスの95.7%を達成できます。
論文 参考訳(メタデータ) (2022-03-16T11:01:23Z) - PointMatch: A Consistency Training Framework for Weakly Supervised
Semantic Segmentation of 3D Point Clouds [117.77841399002666]
本稿では,データ自体から十分な情報を探索するために整合性正規化を適用することで,データとラベルの両面に立つ新しいフレームワークであるPointMatchを提案する。
提案したPointMatchは、ScanNet-v2データセットとS3DISデータセットの両方で、様々な弱い教師付きスキームの下で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-02-22T07:26:31Z) - Point Cloud Instance Segmentation with Semi-supervised Bounding-Box
Mining [17.69745159912481]
ラベル付きおよび未ラベルのバウンディングボックスを監視として使用した,最初の半教師付きポイントクラウドインスタンスセグメンテーションフレームワーク(SPIB)を紹介した。
提案手法は,近年の完全教師付き手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2021-11-30T08:40:40Z) - CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。
CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
論文 参考訳(メタデータ) (2021-11-02T16:44:06Z) - Dense Supervision Propagation for Weakly Supervised Semantic Segmentation on 3D Point Clouds [59.63231842439687]
意味点クラウドセグメンテーションネットワークをトレーニングする。
同様の特徴を伝達し、2つのサンプルにまたがる勾配を再現するクロスサンプル機能再配置モジュールを提案する。
ラベルの10%と1%しか持たない弱教師付き手法では、完全教師付き手法と互換性のある結果が得られる。
論文 参考訳(メタデータ) (2021-07-23T14:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。