論文の概要: Better Monocular 3D Detectors with LiDAR from the Past
- arxiv url: http://arxiv.org/abs/2404.05139v1
- Date: Mon, 8 Apr 2024 01:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 15:43:25.327702
- Title: Better Monocular 3D Detectors with LiDAR from the Past
- Title(参考訳): 過去からのLiDARを用いた単分子3次元検出器の改良
- Authors: Yurong You, Cheng Perng Phoo, Carlos Andres Diaz-Ruiz, Katie Z Luo, Wei-Lun Chao, Mark Campbell, Bharath Hariharan, Kilian Q Weinberger,
- Abstract要約: カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
- 参考スコア(独自算出の注目度): 64.6759926054061
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate 3D object detection is crucial to autonomous driving. Though LiDAR-based detectors have achieved impressive performance, the high cost of LiDAR sensors precludes their widespread adoption in affordable vehicles. Camera-based detectors are cheaper alternatives but often suffer inferior performance compared to their LiDAR-based counterparts due to inherent depth ambiguities in images. In this work, we seek to improve monocular 3D detectors by leveraging unlabeled historical LiDAR data. Specifically, at inference time, we assume that the camera-based detectors have access to multiple unlabeled LiDAR scans from past traversals at locations of interest (potentially from other high-end vehicles equipped with LiDAR sensors). Under this setup, we proposed a novel, simple, and end-to-end trainable framework, termed AsyncDepth, to effectively extract relevant features from asynchronous LiDAR traversals of the same location for monocular 3D detectors. We show consistent and significant performance gain (up to 9 AP) across multiple state-of-the-art models and datasets with a negligible additional latency of 9.66 ms and a small storage cost.
- Abstract(参考訳): 正確な3Dオブジェクト検出は、自動運転に不可欠である。
LiDARベースの検出器は目覚ましい性能を達成したが、高コストのLiDARセンサーは安価な車両に広く採用されるのを妨げている。
カメラベースの検出器は安価な代替品だが、画像の奥行きの曖昧さのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
具体的には、推定時刻において、カメラベースの検出器は、過去のトラバーサル(LiDARセンサーを搭載した他のハイエンド車両)から複数のラベルのないLiDARスキャンにアクセスすることができると仮定する。
そこで我々はAsyncDepthと呼ばれる新しい、シンプルで、エンドツーエンドのトレーニング可能なフレームワークを提案し、モノクロ3D検出器の同じ位置にある非同期LiDARトラバーサルから関連性を効果的に抽出した。
我々は、複数の最先端モデルとデータセットにまたがって、一貫性があり、重要なパフォーマンス向上(最大9AP)を示し、追加のレイテンシは9.66ミリ秒、ストレージコストは小さくなった。
関連論文リスト
- Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。
結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。
この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
論文 参考訳(メタデータ) (2024-05-08T17:59:53Z) - CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking [40.630532348405595]
Camera-RADAR 3D Detection and Tracking (CR3DT)は3Dオブジェクト検出のためのカメラ・レーダ融合モデルであり、Multi-Object Tracking (MOT) である。
State-of-the-Art (SotA)カメラ専用のBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、検出機能とトラッキング機能の両方で大幅に改善されている。
論文 参考訳(メタデータ) (2024-03-22T16:06:05Z) - Long-Tailed 3D Detection via 2D Late Fusion [48.04585341882589]
自律走行車(AV)は、安全航法のために、一般的なクラスと稀なクラスの両方からオブジェクトを正確に検出する必要がある。
現代のLiDARベースの3D検出器は、疎いLiDAR点からの物体の認識が難しいため、希少なクラスでは不十分である。
RGB画像は、そのような曖昧さを解決するための視覚的証拠を提供し、RGB-LiDAR融合の研究を動機付けている。
論文 参考訳(メタデータ) (2023-12-18T07:14:25Z) - Robust 3D Object Detection from LiDAR-Radar Point Clouds via Cross-Modal
Feature Augmentation [7.364627166256136]
本稿では,点雲からの3次元物体検出のための新しい枠組みを提案する。
背骨の微細化と幻覚発生を同時に行うために,空間的および特徴的に複数のアライメントを導入する。
View-of-Delftデータセットの実験により,提案手法は,レーダとLiDARの両方のオブジェクト検出において,最先端(SOTA)手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-09-29T15:46:59Z) - Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object
Detection [0.7234862895932991]
近年の進歩は擬似LiDAR、すなわち合成高密度点雲を導入し、カメラなどの追加のモダリティを使って3Dオブジェクト検出を強化している。
我々は,LiDARセンサとシーンセマンティクスに頼って,密度の高い擬似点雲で生スキャンを増強する,新しいLiDAR専用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-16T09:18:47Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-06-02T10:57:41Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。
標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-05-27T05:42:16Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - 3D Vehicle Detection Using Camera and Low-Resolution LiDAR [6.293059137498174]
低解像度LiDARと単眼カメラを用いたバードアイビュー(BEV)における3次元物体検出のための新しいフレームワークを提案する。
低解像度のLiDARポイントクラウドと単眼像を入力として、深度補完ネットワークは高密度なポイントクラウドを生成できます。
容易かつ適度なケースでは、検出結果は64ライン高精細lidarと同等である。
論文 参考訳(メタデータ) (2021-05-04T21:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。