論文の概要: VaLID: Verification as Late Integration of Detections for LiDAR-Camera Fusion
- arxiv url: http://arxiv.org/abs/2409.15529v1
- Date: Mon, 23 Sep 2024 20:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 12:47:38.614113
- Title: VaLID: Verification as Late Integration of Detections for LiDAR-Camera Fusion
- Title(参考訳): VaLID:LiDAR-Camera核融合検出の後期統合としての検証
- Authors: Vanshika Vats, Marzia Binta Nizam, James Davis,
- Abstract要約: LiDARの使用法は一般的にカメラのみを使用する方法よりも優れている。
本稿では,各予測境界ボックスが許容可能であるかどうかを検証したモデル独立遅延融合法VaLIDを提案する。
提案手法はモデル非依存であり,汎用カメラ検出器を用いた場合においても,最先端の競争性能を示す。
- 参考スコア(独自算出の注目度): 2.503388496100123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vehicle object detection is possible using both LiDAR and camera data. Methods using LiDAR generally outperform those using cameras only. The highest accuracy methods utilize both of these modalities through data fusion. In our study, we propose a model-independent late fusion method, VaLID, which validates whether each predicted bounding box is acceptable or not. Our method verifies the higher-performing, yet overly optimistic LiDAR model detections using camera detections that are obtained from either specially trained, general, or open-vocabulary models. VaLID uses a simple multi-layer perceptron trained with a high recall bias to reduce the false predictions made by the LiDAR detector, while still preserving the true ones. Evaluating with multiple combinations of LiDAR and camera detectors on the KITTI dataset, we reduce false positives by an average of 63.9%, thus outperforming the individual detectors on 2D average precision (2DAP). Our approach is model-agnostic and demonstrates state-of-the-art competitive performance even when using generic camera detectors that were not trained specifically for this dataset.
- Abstract(参考訳): 車両物体検出は、LiDARとカメラデータの両方を用いて可能である。
LiDARの使用法は一般的にカメラのみを使用する方法よりも優れている。
最も高い精度の手法はデータ融合によってこれらの2つのモダリティを利用する。
本研究では,モデルに依存しない遅延核融合法であるVaLIDを提案する。
本手法は, 特殊訓練, 一般, オープン語彙モデルから得られるカメラ検出を用いて, 高い性能, 過度に楽観的なLiDARモデル検出を検証する。
VaLIDは、LiDAR検出器による誤った予測を減らすために、高いリコールバイアスで訓練された単純な多層パーセプトロンを使用する。
KITTIデータセット上でLiDARとカメラ検出器を複数組み合わせて評価することにより、偽陽性を平均63.9%削減し、2D平均精度(2DAP)で個々の検出器より優れる。
我々のアプローチはモデルに依存しず、このデータセットに特化して訓練されていない汎用カメラ検出器を使用しても、最先端の競争性能を示す。
関連論文リスト
- Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-04-08T01:38:43Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted
Data [4.3012765978447565]
この研究は、データの破損に対処し、3Dオブジェクト検出のためのセンサ融合をより堅牢にする新しい融合ステップを示す。
提案手法は,通常のデータに対する最先端手法と同等に動作し,不整合データに対して性能を向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T18:06:29Z) - Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for
Autonomous Driving [91.39625612027386]
我々は,一般的な(ベース)オブジェクトに対して大量のトレーニングデータを持つが,レア(ノーベル)クラスに対してはごく少数のデータしか持たない,一般化された数発の3Dオブジェクト検出という新しいタスクを提案する。
具体的には、画像と点雲の奥行きの違いを分析し、3D LiDARデータセットにおける少数ショット設定の実践的原理を示す。
この課題を解決するために,既存の3次元検出モデルを拡張し,一般的なオブジェクトと稀なオブジェクトの両方を認識するためのインクリメンタルな微調整手法を提案する。
論文 参考訳(メタデータ) (2023-02-08T07:11:36Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-30T01:44:30Z) - LET-3D-AP: Longitudinal Error Tolerant 3D Average Precision for Camera-Only 3D Detection [26.278496981844317]
我々は,深度推定誤差に関して,より許容性の高い3次元APメトリックの変種を提案する。
具体的には, LET-3D-AP と LET-3D-APL という新しい長手誤差許容基準により, 所与の許容範囲までの長手局所化誤差を許容する。
最先端のカメラベースの検出器は、従来のLiDARベースの検出器よりも優れており、新しいメトリクスは10%の深度エラー耐性を超越している。
論文 参考訳(メタデータ) (2022-06-15T17:57:41Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Self-Supervised Person Detection in 2D Range Data using a Calibrated
Camera [83.31666463259849]
2次元LiDARに基づく人検出器のトレーニングラベル(擬似ラベル)を自動生成する手法を提案する。
擬似ラベルで訓練または微調整された自己監視検出器が,手動アノテーションを用いて訓練された検出器を上回っていることを示した。
私達の方法は付加的な分類の努力なしで配置の間に人の探知器を改善する有効な方法です。
論文 参考訳(メタデータ) (2020-12-16T12:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。