論文の概要: LCF3D: A Robust and Real-Time Late-Cascade Fusion Framework for 3D Object Detection in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2601.09812v1
- Date: Wed, 14 Jan 2026 19:19:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:18.868585
- Title: LCF3D: A Robust and Real-Time Late-Cascade Fusion Framework for 3D Object Detection in Autonomous Driving
- Title(参考訳): LCF3D: 自律走行における3次元物体検出のためのロバストでリアルタイムな遅延カスケード融合フレームワーク
- Authors: Carlo Sgaravatti, Riccardo Pieroni, Matteo Corno, Sergio M. Savaresi, Luca Magri, Giacomo Boracchi,
- Abstract要約: 歩行者、サイクリスト、その他の車両などの正確な3Dオブジェクトの正確な位置決めは、自動運転に不可欠である。
LCF3Dは、RGB画像上の2Dオブジェクト検出器とLiDAR点雲上の3Dオブジェクト検出器を組み合わせた、新しいセンサー融合フレームワークである。
- 参考スコア(独自算出の注目度): 18.92466723080506
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurately localizing 3D objects like pedestrians, cyclists, and other vehicles is essential in Autonomous Driving. To ensure high detection performance, Autonomous Vehicles complement RGB cameras with LiDAR sensors, but effectively combining these data sources for 3D object detection remains challenging. We propose LCF3D, a novel sensor fusion framework that combines a 2D object detector on RGB images with a 3D object detector on LiDAR point clouds. By leveraging multimodal fusion principles, we compensate for inaccuracies in the LiDAR object detection network. Our solution combines two key principles: (i) late fusion, to reduce LiDAR False Positives by matching LiDAR 3D detections with RGB 2D detections and filtering out unmatched LiDAR detections; and (ii) cascade fusion, to recover missed objects from LiDAR by generating new 3D frustum proposals corresponding to unmatched RGB detections. Experiments show that LCF3D is beneficial for domain generalization, as it turns out to be successful in handling different sensor configurations between training and testing domains. LCF3D achieves significant improvements over LiDAR-based methods, particularly for challenging categories like pedestrians and cyclists in the KITTI dataset, as well as motorcycles and bicycles in nuScenes. Code can be downloaded from: https://github.com/CarloSgaravatti/LCF3D.
- Abstract(参考訳): 歩行者、サイクリスト、その他の車両などの正確な3Dオブジェクトの正確な位置決めは、自動運転に不可欠である。
高い検出性能を確保するため、自律走行車はRGBカメラとLiDARセンサーを補完するが、3Dオブジェクト検出のためにこれらのデータソースを効果的に組み合わせることは依然として困難である。
LCF3Dは、RGB画像上の2Dオブジェクト検出器とLiDAR点雲上の3Dオブジェクト検出器を組み合わせた、新しいセンサー融合フレームワークである。
マルチモーダル融合の原理を活用することで、LiDARオブジェクト検出ネットワークにおける不正確さを補う。
私たちのソリューションは2つの重要な原則を組み合わせています。
i)後期核融合により、LiDAR 3D検出とRGB 2D検出とをマッチングし、未整合LiDAR検出をフィルタリングすることにより、LiDAR偽陽性を減らす。
二 カスケード融合により、未整合RGB検出に対応する新しい3Dフラストラムの提案を生成することにより、LiDARから欠落したオブジェクトを回収する。
実験によると、LCF3Dは、トレーニングとテストのドメイン間の異なるセンサー構成を扱うことに成功しているため、ドメインの一般化に有用であることが示されている。
LCF3Dは、特にKITTIデータセットの歩行者やサイクリストのような挑戦的なカテゴリや、NuScenesのオートバイや自転車において、LiDARベースの手法よりも大幅に改善されている。
コードは、https://github.com/CarloSgaravatti/LCF3Dからダウンロードできる。
関連論文リスト
- Multistream Network for LiDAR and Camera-based 3D Object Detection in Outdoor Scenes [59.78696921486972]
LiDARとRGBデータの融合により、屋外の3Dオブジェクト検出精度が向上する可能性がある。
両データモダリティからタスク関連情報を的確に抽出するMultiStream Detection (MuStD) ネットワークを提案する。
論文 参考訳(メタデータ) (2025-07-25T14:20:16Z) - Long-Tailed 3D Detection via Multi-Modal Fusion [58.89765900064689]
本研究では,Long-Tailed 3D Detection (LT3D) の問題点について検討した。
単モードLiDARとRGB検出器を独立に訓練した多モード遅延核融合(MMLF)により,レアクラスの精度が特に向上することが指摘されている。
我々のMMLFはLT3Dの先行作業よりも優れており、特に12.8から20.0mAPまでの6つのレアなクラスで改善されています。
論文 参考訳(メタデータ) (2023-12-18T07:14:25Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - MSF3DDETR: Multi-Sensor Fusion 3D Detection Transformer for Autonomous
Driving [0.0]
MSF3DDETR: 画像とLiDAR機能を融合して検出精度を向上させるマルチセンサフュージョン3D検出変換器アーキテクチャを提案する。
我々のエンドツーエンドのシングルステージ、アンカーフリー、NMSフリーネットワークは、マルチビューイメージとLiDARポイントクラウドを取り込み、3Dバウンディングボックスを予測する。
MSF3DDETRネットワークは、DeTRにインスパイアされたハンガリーのアルゴリズムに基づくバイパーティイトマッチングとセット・ツー・セット・ロスを使用して、nuScenesデータセット上でエンドツーエンドにトレーニングされている。
論文 参考訳(メタデータ) (2022-10-27T10:55:15Z) - Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection [0.0]
本稿では,立体対から得られる高精度な点雲と,密度が高いが精度の低い点雲を結合する新しいデータ融合アルゴリズムを提案する。
我々は複数の3次元物体検出法を訓練し、核融合戦略が検出器の性能を継続的に改善することを示す。
論文 参考訳(メタデータ) (2021-11-08T19:29:59Z) - Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimationand 3D
Object Detection [3.5488685789514736]
SLS-Fusionは、深度推定のためにニューラルネットワークを介して4ビームLiDARとステレオカメラからデータを融合する新しいアプローチです。
4ビームのLiDARは64ビームのLiDARよりも安価であるため、この手法は低コストのセンサベース手法に分類される。
論文 参考訳(メタデータ) (2021-03-05T23:10:09Z) - End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。
PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。
我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
論文 参考訳(メタデータ) (2020-04-07T02:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。