論文の概要: LiDAR2Map: In Defense of LiDAR-Based Semantic Map Construction Using
Online Camera Distillation
- arxiv url: http://arxiv.org/abs/2304.11379v2
- Date: Mon, 5 Jun 2023 03:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:46:23.131496
- Title: LiDAR2Map: In Defense of LiDAR-Based Semantic Map Construction Using
Online Camera Distillation
- Title（参考訳）: LiDAR2Map:オンラインカメラ蒸留によるLiDARに基づく意味マップ構築の防御
- Authors: Song Wang and Wentong Li and Wenyu Liu and Xiaolu Liu and Jianke Zhu
- Abstract要約: 鳥眼ビュー(BEV)の下でのセマンティックマップの構築は、自律運転において重要な役割を担っている。
本稿では,LiDARを用いたセマンティックマップ構築手法を提案する。
セマンティックマップ構築のための堅牢なマルチスケールBEV特徴を学習するBEV機能ピラミッドデコーダを導入する。
- 参考スコア（独自算出の注目度）: 21.53150795218778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic map construction under bird's-eye view (BEV) plays an essential role
in autonomous driving. In contrast to camera image, LiDAR provides the accurate
3D observations to project the captured 3D features onto BEV space inherently.
However, the vanilla LiDAR-based BEV feature often contains many indefinite
noises, where the spatial features have little texture and semantic cues. In
this paper, we propose an effective LiDAR-based method to build semantic map.
Specifically, we introduce a BEV feature pyramid decoder that learns the robust
multi-scale BEV features for semantic map construction, which greatly boosts
the accuracy of the LiDAR-based method. To mitigate the defects caused by
lacking semantic cues in LiDAR data, we present an online Camera-to-LiDAR
distillation scheme to facilitate the semantic learning from image to point
cloud. Our distillation scheme consists of feature-level and logit-level
distillation to absorb the semantic information from camera in BEV. The
experimental results on challenging nuScenes dataset demonstrate the efficacy
of our proposed LiDAR2Map on semantic map construction, which significantly
outperforms the previous LiDAR-based methods over 27.9% mIoU and even performs
better than the state-of-the-art camera-based approaches. Source code is
available at: https://github.com/songw-zju/LiDAR2Map.
- Abstract（参考訳）: 鳥眼ビュー(BEV)に基づくセマンティックマップの構築は、自律運転において重要な役割を果たす。
カメラ画像とは対照的に、LiDARは捉えた3D機能を本質的にBEV空間に投影する正確な3D観察を提供する。
しかしながら、バニラLiDARベースのBEV機能は、空間的特徴がほとんどテクスチャとセマンティックな手がかりを持たない多くの不確定ノイズを含むことが多い。
本稿では,LiDARを用いたセマンティックマップ構築手法を提案する。
具体的には、セマンティックマップ構築のための堅牢なマルチスケールBEV特徴を学習するBEV機能ピラミッドデコーダを導入し、LiDAR方式の精度を大幅に向上させる。
LiDARデータにおける意味的手がかりの欠如による欠陥を軽減するために,画像からポイントクラウドへのセマンティック学習を容易にするオンラインカメラ対LiDAR蒸留方式を提案する。
我々の蒸留方式は,BEVのカメラからの意味情報を吸収する特徴レベルおよびロジットレベル蒸留からなる。
提案したLiDAR2Mapのセマンティックマップ構築に対する有効性は,27.9% mIoU以上の従来のLiDARベースの手法よりも優れ,最先端のカメラベースアプローチよりも優れていた。
ソースコードはhttps://github.com/songw-zju/lidar2map。
関連論文リスト
- SimpleBEV: Improved LiDAR-Camera Fusion Architecture for 3D Object Detection [15.551625571158056]
高精度な3次元物体検出のためのLiDARカメラ融合フレームワークSimpleBEVを提案する。
提案手法は, nuScenesデータセット上で77.6%のNDS精度を実現し, 3次元物体検出トラックにおける優れた性能を示す。
論文 参考訳（メタデータ） (2024-11-08T02:51:39Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳（メタデータ） (2023-12-14T18:58:52Z) - BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud
Pre-training in Autonomous Driving Scenarios [51.285561119993105]
自律運転におけるLiDARに基づく3Dオブジェクト検出のための,効率的なマスク付きオートエンコーダ事前学習フレームワークであるBEV-MAEを提案する。
具体的には、3Dエンコーダ学習特徴表現を導くために,鳥の目視(BEV)誘導マスキング戦略を提案する。
学習可能なポイントトークンを導入し、3Dエンコーダの一貫性のある受容的フィールドサイズを維持する。
論文 参考訳（メタデータ） (2022-12-12T08:15:03Z) - BEV-LGKD: A Unified LiDAR-Guided Knowledge Distillation Framework for
BEV 3D Object Detection [40.45938603642747]
BEV-LGKD という統合フレームワークを提案する。
我々の手法は、RGBモデル間のKDを誘導するためにLiDARポイントのみを使用する。
論文 参考訳（メタデータ） (2022-12-01T16:17:39Z) - Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving
Object Segmentation [23.666607237164186]
本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。
具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。
また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
論文 参考訳（メタデータ） (2022-07-05T17:59:17Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-06-30T01:44:30Z) - A Simple Baseline for BEV Perception Without LiDAR [37.00868568802673]
LiDARに依存しない自動運転車のための3D認識システムの構築は、重要な研究課題である。
現在の方法では、車両の周囲のカメラから収集された多視点RGBデータを使用する。
本稿では,単純なベースラインモデルを提案する。このモデルでは,投影されたすべての画像位置から,単に「リフト」ステップで特徴を推定する。
論文 参考訳（メタデータ） (2022-06-16T06:57:32Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳（メタデータ） (2022-03-28T17:59:02Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-01-26T09:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。