論文の概要: LiDAR2Map: In Defense of LiDAR-Based Semantic Map Construction Using
Online Camera Distillation
- arxiv url: http://arxiv.org/abs/2304.11379v2
- Date: Mon, 5 Jun 2023 03:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:46:23.131496
- Title: LiDAR2Map: In Defense of LiDAR-Based Semantic Map Construction Using
Online Camera Distillation
- Title(参考訳): LiDAR2Map:オンラインカメラ蒸留によるLiDARに基づく意味マップ構築の防御
- Authors: Song Wang and Wentong Li and Wenyu Liu and Xiaolu Liu and Jianke Zhu
- Abstract要約: 鳥眼ビュー(BEV)の下でのセマンティックマップの構築は、自律運転において重要な役割を担っている。
本稿では,LiDARを用いたセマンティックマップ構築手法を提案する。
セマンティックマップ構築のための堅牢なマルチスケールBEV特徴を学習するBEV機能ピラミッドデコーダを導入する。
- 参考スコア(独自算出の注目度): 21.53150795218778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic map construction under bird's-eye view (BEV) plays an essential role
in autonomous driving. In contrast to camera image, LiDAR provides the accurate
3D observations to project the captured 3D features onto BEV space inherently.
However, the vanilla LiDAR-based BEV feature often contains many indefinite
noises, where the spatial features have little texture and semantic cues. In
this paper, we propose an effective LiDAR-based method to build semantic map.
Specifically, we introduce a BEV feature pyramid decoder that learns the robust
multi-scale BEV features for semantic map construction, which greatly boosts
the accuracy of the LiDAR-based method. To mitigate the defects caused by
lacking semantic cues in LiDAR data, we present an online Camera-to-LiDAR
distillation scheme to facilitate the semantic learning from image to point
cloud. Our distillation scheme consists of feature-level and logit-level
distillation to absorb the semantic information from camera in BEV. The
experimental results on challenging nuScenes dataset demonstrate the efficacy
of our proposed LiDAR2Map on semantic map construction, which significantly
outperforms the previous LiDAR-based methods over 27.9% mIoU and even performs
better than the state-of-the-art camera-based approaches. Source code is
available at: https://github.com/songw-zju/LiDAR2Map.
- Abstract(参考訳): 鳥眼ビュー(BEV)に基づくセマンティックマップの構築は、自律運転において重要な役割を果たす。
カメラ画像とは対照的に、LiDARは捉えた3D機能を本質的にBEV空間に投影する正確な3D観察を提供する。
しかしながら、バニラLiDARベースのBEV機能は、空間的特徴がほとんどテクスチャとセマンティックな手がかりを持たない多くの不確定ノイズを含むことが多い。
本稿では,LiDARを用いたセマンティックマップ構築手法を提案する。
具体的には、セマンティックマップ構築のための堅牢なマルチスケールBEV特徴を学習するBEV機能ピラミッドデコーダを導入し、LiDAR方式の精度を大幅に向上させる。
LiDARデータにおける意味的手がかりの欠如による欠陥を軽減するために,画像からポイントクラウドへのセマンティック学習を容易にするオンラインカメラ対LiDAR蒸留方式を提案する。
我々の蒸留方式は,BEVのカメラからの意味情報を吸収する特徴レベルおよびロジットレベル蒸留からなる。
提案したLiDAR2Mapのセマンティックマップ構築に対する有効性は,27.9% mIoU以上の従来のLiDARベースの手法よりも優れ,最先端のカメラベースアプローチよりも優れていた。
ソースコードはhttps://github.com/songw-zju/lidar2map。
関連論文リスト
- Language-Guided 3D Object Detection in Point Cloud for Autonomous
Driving [91.91552963872596]
我々は,LiDARグラウンディングと呼ばれるマルチモーダルな視覚的グラウンドニングタスクを提案する。
言語特徴を持つLiDARベースの物体検出器を共同で学習し、検出器から直接対象領域を予測する。
私たちの研究は、LiDARベースの接地作業に関する深い洞察を提供しており、自動運転コミュニティにとって有望な方向性を示すものと期待しています。
論文 参考訳(メタデータ) (2023-05-25T06:22:10Z) - BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud
Pre-training in Autonomous Driving Scenarios [51.285561119993105]
自律運転におけるLiDARに基づく3Dオブジェクト検出のための,効率的なマスク付きオートエンコーダ事前学習フレームワークであるBEV-MAEを提案する。
具体的には、3Dエンコーダ学習特徴表現を導くために,鳥の目視(BEV)誘導マスキング戦略を提案する。
学習可能なポイントトークンを導入し、3Dエンコーダの一貫性のある受容的フィールドサイズを維持する。
論文 参考訳(メタデータ) (2022-12-12T08:15:03Z) - BEV-LGKD: A Unified LiDAR-Guided Knowledge Distillation Framework for
BEV 3D Object Detection [40.45938603642747]
BEV-LGKD という統合フレームワークを提案する。
我々の手法は、RGBモデル間のKDを誘導するためにLiDARポイントのみを使用する。
論文 参考訳(メタデータ) (2022-12-01T16:17:39Z) - LiCamGait: Gait Recognition in the Wild by Using LiDAR and Camera
Multi-modal Visual Sensors [49.66924720835016]
我々は、LiDARを利用して、より堅牢で正確な歩行認識のために、ビュー依存カメラと光感受性カメラの制限を緩和する最初の試みを行っている。
効率的なマルチモーダル特徴融合戦略を用いたLiDARカメラを用いた歩行認識手法を提案する。
論文 参考訳(メタデータ) (2022-11-22T16:05:58Z) - BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object
Detection [17.526914782562528]
複数の画像ビューから3Dオブジェクトを検出することは、視覚的なシーン理解にとって難しい課題である。
マルチビュー3Dオブジェクト検出のためのクロスモーダルなBEV知識蒸留フレームワークである textbfBEVDistill を提案する。
我々の最良のモデルは、nuScenesテストリーダーボード上で59.4 NDSを達成し、様々な画像ベース検出器と比較して新しい最先端技術を達成する。
論文 参考訳(メタデータ) (2022-11-17T07:26:14Z) - Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving
Object Segmentation [23.666607237164186]
本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。
具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。
また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
論文 参考訳(メタデータ) (2022-07-05T17:59:17Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-30T01:44:30Z) - A Simple Baseline for BEV Perception Without LiDAR [37.00868568802673]
LiDARに依存しない自動運転車のための3D認識システムの構築は、重要な研究課題である。
現在の方法では、車両の周囲のカメラから収集された多視点RGBデータを使用する。
本稿では,単純なベースラインモデルを提案する。このモデルでは,投影されたすべての画像位置から,単に「リフト」ステップで特徴を推定する。
論文 参考訳(メタデータ) (2022-06-16T06:57:32Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-01-26T09:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。