論文の概要: CRT-Fusion: Camera, Radar, Temporal Fusion Using Motion Information for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2411.03013v2
• Date: Wed, 20 Nov 2024 01:24:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:36.340096
• Title: CRT-Fusion: Camera, Radar, Temporal Fusion Using Motion Information for 3D Object Detection
• Title（参考訳）: CRT融合:3次元物体検出のためのモーション情報を用いたカメラ,レーダ,テンポラルフュージョン
• Authors: Jisong Kim, Minjae Seong, Jun Won Choi,
• Abstract要約: 本稿では,レーダカメラ融合に時間情報を統合する新しいフレームワークであるCRT-Fusionを紹介する。 CRT-Fusionはレーダーカメラによる3Dオブジェクト検出のための最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 9.509625131289429
• License:
• Abstract: Accurate and robust 3D object detection is a critical component in autonomous vehicles and robotics. While recent radar-camera fusion methods have made significant progress by fusing information in the bird's-eye view (BEV) representation, they often struggle to effectively capture the motion of dynamic objects, leading to limited performance in real-world scenarios. In this paper, we introduce CRT-Fusion, a novel framework that integrates temporal information into radar-camera fusion to address this challenge. Our approach comprises three key modules: Multi-View Fusion (MVF), Motion Feature Estimator (MFE), and Motion Guided Temporal Fusion (MGTF). The MVF module fuses radar and image features within both the camera view and bird's-eye view, thereby generating a more precise unified BEV representation. The MFE module conducts two simultaneous tasks: estimation of pixel-wise velocity information and BEV segmentation. Based on the velocity and the occupancy score map obtained from the MFE module, the MGTF module aligns and fuses feature maps across multiple timestamps in a recurrent manner. By considering the motion of dynamic objects, CRT-Fusion can produce robust BEV feature maps, thereby improving detection accuracy and robustness. Extensive evaluations on the challenging nuScenes dataset demonstrate that CRT-Fusion achieves state-of-the-art performance for radar-camera-based 3D object detection. Our approach outperforms the previous best method in terms of NDS by +1.7%, while also surpassing the leading approach in mAP by +1.4%. These significant improvements in both metrics showcase the effectiveness of our proposed fusion strategy in enhancing the reliability and accuracy of 3D object detection.
• Abstract（参考訳）: 正確な3Dオブジェクト検出は、自動運転車やロボット工学において重要な要素である。 近年のレーダー・カメラ融合法は、鳥の目視(BEV)表現に情報を流すことで大きな進歩を遂げているが、しばしば動的物体の動きを効果的に捉えるのに苦労し、現実のシナリオでは性能が限られている。 本稿では,この課題に対処するために,時間情報をレーダカメラ融合に統合する新しいフレームワークであるCRT-Fusionを紹介する。 提案手法は,MFE(Multi-View Fusion),MFE(Motion Feature Estimator),MGTF(Motion Guided Temporal Fusion)の3つの重要なモジュールからなる。 MVFモジュールは、カメラビューと鳥の目の両方にレーダーと画像の特徴を融合させ、より正確に統合されたBEV表現を生成する。 MFEモジュールは、画素単位の速度情報とBEVセグメンテーションの2つの同時タスクを実行する。 MFEモジュールから得られる速度と占有スコアマップに基づいて、MGTFモジュールは複数のタイムスタンプにまたがる特徴マップを反復的に整列してヒューズする。 動的物体の動きを考慮することで、CRT-FusionはロバストなBEV特徴写像を生成することができ、検出精度とロバスト性を向上させることができる。 挑戦的なnuScenesデータセットの大規模な評価は、CRT-Fusionがレーダーカメラによる3Dオブジェクト検出の最先端性能を達成することを示す。 我々の手法はNDSの手法を1.7%上回り、mAPの手法を1.4%上回っている。 これら2つの指標の大幅な改善は、3次元物体検出の信頼性と精度を高めるために提案した融合戦略の有効性を示す。

関連論文リスト

• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
  サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
  論文  参考訳（メタデータ） (2022-12-15T14:18:47Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection [6.959556180268547]
  本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。 より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T13:21:37Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Temp-Frustum Net: 3D Object Detection with Temporal Fusion [0.0]
  3Dオブジェクト検出は、自動運転システムの中核コンポーネントです。 フレームバイフレームの3dオブジェクト検出はノイズ、視野障害、スパーシティに苦しむ。 これらの問題を緩和するための新しい時間融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-25T09:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。