論文の概要: LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2212.03504v1
• Date: Wed, 7 Dec 2022 08:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:04:20.385416
• Title: LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for Autonomous Driving
• Title（参考訳）: LWSIS:LiDAR誘導の弱めに監視された自動運転用インスタンスセグメンテーション
• Authors: Xiang Li, Junbo Yin, Botian Shi, Yikang Li, Ruigang Yang, Jianbin Shen
• Abstract要約: より巧妙なフレームワークであるLiDAR誘導弱監視インスタンス(LWSIS)を提示する。 LWSISは市販の3Dデータ、すなわちポイントクラウドと3Dボックスを2Dイメージインスタンスセグメンテーションモデルをトレーニングするための自然な弱い監督手段として使用している。 我々のLWSISは、訓練中のマルチモーダルデータの補完情報を利用するだけでなく、密集した2Dマスクのコストを大幅に削減します。
• 参考スコア（独自算出の注目度）: 34.119642131912485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image instance segmentation is a fundamental research topic in autonomous driving, which is crucial for scene understanding and road safety. Advanced learning-based approaches often rely on the costly 2D mask annotations for training. In this paper, we present a more artful framework, LiDAR-guided Weakly Supervised Instance Segmentation (LWSIS), which leverages the off-the-shelf 3D data, i.e., Point Cloud, together with the 3D boxes, as natural weak supervisions for training the 2D image instance segmentation models. Our LWSIS not only exploits the complementary information in multimodal data during training, but also significantly reduces the annotation cost of the dense 2D masks. In detail, LWSIS consists of two crucial modules, Point Label Assignment (PLA) and Graph-based Consistency Regularization (GCR). The former module aims to automatically assign the 3D point cloud as 2D point-wise labels, while the latter further refines the predictions by enforcing geometry and appearance consistency of the multimodal data. Moreover, we conduct a secondary instance segmentation annotation on the nuScenes, named nuInsSeg, to encourage further research on multimodal perception tasks. Extensive experiments on the nuInsSeg, as well as the large-scale Waymo, show that LWSIS can substantially improve existing weakly supervised segmentation models by only involving 3D data during training. Additionally, LWSIS can also be incorporated into 3D object detectors like PointPainting to boost the 3D detection performance for free. The code and dataset are available at https://github.com/Serenos/LWSIS.
• Abstract（参考訳）: イメージインスタンスのセグメンテーションは自動運転の基本的な研究テーマであり、シーン理解と道路安全に不可欠である。 高度な学習ベースのアプローチは、トレーニングに高価な2Dマスクアノテーションに依存することが多い。 本稿では,市販の3dデータ,すなわち3dボックスと共にポイントクラウドを活用し,2dイメージインスタンスセグメンテーションモデルをトレーニングするための自然な弱い監督手法として,lidar誘導型弱教師付きインスタンスセグメンテーション(lwsis)という,より芸術的なフレームワークを提案する。 lwsisはトレーニング中のマルチモーダルデータの補完情報を利用するだけでなく,密集した2dマスクのアノテーションコストを大幅に削減する。 LWSISは2つの重要なモジュール、Point Label Assignment (PLA) と Graph-based Consistency Regularization (GCR) で構成されている。 前者のモジュールは3Dポイントクラウドを2Dポイントワイズラベルとして自動的に割り当てることを目的としており、後者は幾何とマルチモーダルデータの外観整合性を強制することによって予測をさらに洗練する。 さらに, nuInsSeg と呼ばれる nuScenes 上で二次インスタンスセグメンテーションアノテーションを実施し, マルチモーダル認識タスクのさらなる研究を奨励する。 nuInsSegの大規模な実験は、大規模なWaymoと同様に、LWSISがトレーニング中に3Dデータのみを含むことによって、既存の弱教師付きセグメンテーションモデルを大幅に改善できることを示している。 さらに、lwsisをpointpaintingのような3dオブジェクト検出器に組み込むことで、3d検出性能を無償で向上することができる。 コードとデータセットはhttps://github.com/serenos/lwsisで入手できる。

関連論文リスト

• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• MWSIS: Multimodal Weakly Supervised Instance Segmentation with 2D Box Annotations for Autonomous Driving [13.08936676096554]
  我々はMultimodal Weakly Supervised Instance (MWSIS)と呼ばれる新しいフレームワークを提案する。 MWSISは、様々な細粒度ラベルの生成と修正モジュールを2Dと3Dの両方に組み込んでいる。 完全に教師されたインスタンスセグメンテーションよりも優れており、完全に教師されたアノテーションはわずか5%である。
  論文  参考訳（メタデータ） (2023-12-12T05:12:22Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。