論文の概要: LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection
- arxiv url: http://arxiv.org/abs/2203.14956v1
- Date: Mon, 28 Mar 2022 17:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 17:30:05.665730
- Title: LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection
- Title(参考訳): LiDAR蒸留:3次元物体検出のためのビーム誘起領域ギャップのブリッジ
- Authors: Yi Wei, Zibu Wei, Yongming Rao, Jiaxin Li, Jie Zhou, Jiwen Lu
- Abstract要約: 多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
- 参考スコア(独自算出の注目度): 96.63947479020631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose the LiDAR Distillation to bridge the domain gap
induced by different LiDAR beams for 3D object detection. In many real-world
applications, the LiDAR points used by mass-produced robots and vehicles
usually have fewer beams than that in large-scale public datasets. Moreover, as
the LiDARs are upgraded to other product models with different beam amount, it
becomes challenging to utilize the labeled data captured by previous versions'
high-resolution sensors. Despite the recent progress on domain adaptive 3D
detection, most methods struggle to eliminate the beam-induced domain gap. We
find that it is essential to align the point cloud density of the source domain
with that of the target domain during the training process. Inspired by this
discovery, we propose a progressive framework to mitigate the beam-induced
domain shift. In each iteration, we first generate low-beam pseudo LiDAR by
downsampling the high-beam point clouds. Then the teacher-student framework is
employed to distill rich information from the data with more beams. Extensive
experiments on Waymo, nuScenes and KITTI datasets with three different
LiDAR-based detectors demonstrate the effectiveness of our LiDAR Distillation.
Notably, our approach does not increase any additional computation cost for
inference.
- Abstract(参考訳): 本稿では,異なるLiDARビームによる3次元物体検出のための領域ギャップをブリッジするLiDAR蒸留法を提案する。
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
さらに、LiDARはビーム量が異なる他の製品モデルにアップグレードされるため、以前のバージョンの高解像度センサーが取得したラベル付きデータを利用するのは難しい。
領域適応型3D検出の最近の進歩にもかかわらず、ほとんどの手法はビーム誘起領域ギャップを取り除くのに苦労している。
トレーニングプロセス中に、ソースドメインのポイントクラウド密度とターゲットドメインのポイントクラウド密度を一致させることが不可欠であることがわかった。
この発見に触発されて、ビーム誘起ドメインシフトを緩和するプログレッシブフレームワークを提案する。
各イテレーションにおいて、ハイビーム点雲をダウンサンプリングすることで、まず低ビーム擬似LiDARを生成する。
次に、教師学習フレームワークを用いて、より多くのビームでデータからリッチな情報を蒸留する。
Waymo、nuScenes、KITTIの3つの異なるLiDARベースの検出器による大規模な実験は、我々のLiDAR蒸留の有効性を実証している。
特に、我々の手法は推論の計算コストを増大させません。
関連論文リスト
- Finetuning Pre-trained Model with Limited Data for LiDAR-based 3D Object Detection by Bridging Domain Gaps [8.897884780881535]
LiDARベースの3Dオブジェクト検出器は、センサーの設定が異なるターゲットドメインにうまく適応できないことが多い。
近年の研究では、トレーニング済みのバックボーンは大規模でラベルのないLiDARフレームで自己管理的に学習できることが示唆されている。
本研究では,対象データに制限のある事前学習モデルを適用するために,DADT(Domain Adaptive Distill-Tuning)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-10-02T08:22:42Z) - Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection [52.66283064389691]
最先端の3Dオブジェクト検出器は、しばしば大量のラベル付きデータセットで訓練される。
近年の研究では、ラベル付きデータによる自己教師付き事前学習が、ラベル付きラベルによる検出精度を向上させることが示されている。
組合わせRGBとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ制御手法を提案する。
論文 参考訳(メタデータ) (2024-06-14T15:21:57Z) - Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。
結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。
この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
論文 参考訳(メタデータ) (2024-05-08T17:59:53Z) - Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-04-08T01:38:43Z) - Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem [12.26293873825084]
本稿では,小クラスのミニチュアや現実世界のオブジェクトのサラウンドビューをキャプチャしたビデオから生成された擬似LiDAR点雲を活用することを提案する。
Pseudo Ground Truth Aug (PGT-Aug) と呼ばれるこの手法は, (i) 2D-to-3Dビュー合成モデルを用いたボリューム3Dインスタンス再構成, (ii)LiDAR強度推定によるオブジェクトレベルドメインアライメント, (iii) 地上情報と地図情報からのコンテキスト認識配置のハイブリッド化という3つのステップから構成される。
論文 参考訳(メタデータ) (2024-03-18T08:50:04Z) - Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object
Detection [0.7234862895932991]
近年の進歩は擬似LiDAR、すなわち合成高密度点雲を導入し、カメラなどの追加のモダリティを使って3Dオブジェクト検出を強化している。
我々は,LiDARセンサとシーンセマンティクスに頼って,密度の高い擬似点雲で生スキャンを増強する,新しいLiDAR専用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-16T09:18:47Z) - Improving LiDAR 3D Object Detection via Range-based Point Cloud Density
Optimization [13.727464375608765]
既存の3Dオブジェクト検出器は、遠くにある領域とは対照的に、LiDARセンサーに近い点雲領域でよく機能する傾向にある。
センサ近傍の高密度物体に対する検出モデルには学習バイアスがあり、異なる距離で入力点雲密度を操作するだけで検出性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-09T04:11:43Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-30T01:44:30Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-01-26T09:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。