論文の概要: DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras
and Radars
- arxiv url: http://arxiv.org/abs/2209.12729v1
- Date: Mon, 26 Sep 2022 14:33:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:10:18.668362
- Title: DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras
and Radars
- Title（参考訳）: DeepFusion:ライダー、カメラ、レーダーのためのロバストでモジュラーな3Dオブジェクト検出器
- Authors: Florian Drews, Di Feng, Florian Faion, Lars Rosenbaum, Michael Ulrich
and Claudius Gl\"aser
- Abstract要約: 本研究では,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャを提案する。
特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。
Lidar-camera, lidar-camera-radar, camera-radar fusion の実験結果から, 融合法の柔軟性と有効性が確認された。
- 参考スコア（独自算出の注目度）: 2.2166853714891057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose DeepFusion, a modular multi-modal architecture to fuse lidars,
cameras and radars in different combinations for 3D object detection.
Specialized feature extractors take advantage of each modality and can be
exchanged easily, making the approach simple and flexible. Extracted features
are transformed into bird's-eye-view as a common representation for fusion.
Spatial and semantic alignment is performed prior to fusing modalities in the
feature space. Finally, a detection head exploits rich multi-modal features for
improved 3D detection performance. Experimental results for lidar-camera,
lidar-camera-radar and camera-radar fusion show the flexibility and
effectiveness of our fusion approach. In the process, we study the largely
unexplored task of faraway car detection up to 225~meters, showing the benefits
of our lidar-camera fusion. Furthermore, we investigate the required density of
lidar points for 3D object detection and illustrate implications at the example
of robustness against adverse weather conditions. Moreover, ablation studies on
our camera-radar fusion highlight the importance of accurate depth estimation.
- Abstract（参考訳）: 我々は,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャであるDeepFusionを提案する。
特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。
抽出された特徴は核融合の共通表現として鳥の目視に変換される。
空間的および意味的なアライメントは、特徴空間内のモダリティを融合する前に実行される。
最後に、検出ヘッドはリッチなマルチモーダル機能を利用して、3D検出性能を向上させる。
lidar- camera, lidar-camera-radar, camera-radar fusionの実験結果は,我々の融合アプローチの柔軟性と有効性を示している。
本プロセスでは,遠距離車検出の課題を最大225～mで検討し,ライダー・カメラ融合の利点を示した。
さらに,3次元物体検出に必要なライダー点密度について検討し,悪天候に対するロバスト性を示す。
さらに,我々のカメラレーダ融合におけるアブレーション研究は,正確な深度推定の重要性を強調している。
関連論文リスト
- Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。
本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。
我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
論文 参考訳（メタデータ） (2024-10-09T22:57:47Z) - Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。
我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。
提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
論文 参考訳（メタデータ） (2024-04-25T12:04:31Z) - ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and
Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。
我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
論文 参考訳（メタデータ） (2023-10-04T02:17:59Z) - MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。
特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。
本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文 参考訳（メタデータ） (2023-07-18T11:26:02Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳（メタデータ） (2023-05-17T06:48:35Z) - SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye
View Representation for 3D Object Detection [14.706717531900708]
LiDARとカメラは、自律運転における3Dオブジェクト検出に不可欠な2つのセンサーである。
近年の手法では,LiDAR点雲にカメラ機能を持たせた点レベルの融合に焦点が当てられている。
We present SemanticBEVFusion to deep fuse camera features with LiDAR features in an unified BEV representation。
論文 参考訳（メタデータ） (2022-12-09T05:48:58Z) - MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth
Seeds for 3D Object Detection [89.26380781863665]
自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。
近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。
マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-07T12:29:29Z) - Bridging the View Disparity of Radar and Camera Features for Multi-modal
Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。
より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-25T13:21:37Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳（メタデータ） (2022-03-15T18:46:06Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳（メタデータ） (2020-12-20T18:43:41Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。