論文の概要: MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.15016v1
• Date: Fri, 22 Nov 2024 15:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:20.147203
• Title: MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving
• Title（参考訳）: MSSF: 自律走行における3次元物体検出のための多段階サンプリング機能を備えた4次元レーダ・カメラフュージョンフレームワーク
• Authors: Hongsi Liu, Jun Liu, Guangfeng Jiang, Xin Jin,
• Abstract要約: 本研究では,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 MSSFは、View-of-Delft(VoD)とTJ4DRadsetデータセットの3D平均精度を7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。
• 参考スコア（独自算出の注目度）: 9.184945917823047
• License:
• Abstract: As one of the automotive sensors that have emerged in recent years, 4D millimeter-wave radar has a higher resolution than conventional 3D radar and provides precise elevation measurements. But its point clouds are still sparse and noisy, making it challenging to meet the requirements of autonomous driving. Camera, as another commonly used sensor, can capture rich semantic information. As a result, the fusion of 4D radar and camera can provide an affordable and robust perception solution for autonomous driving systems. However, previous radar-camera fusion methods have not yet been thoroughly investigated, resulting in a large performance gap compared to LiDAR-based methods. Specifically, they ignore the feature-blurring problem and do not deeply interact with image semantic information. To this end, we present a simple but effective multi-stage sampling fusion (MSSF) network based on 4D radar and camera. On the one hand, we design a fusion block that can deeply interact point cloud features with image features, and can be applied to commonly used single-modal backbones in a plug-and-play manner. The fusion block encompasses two types, namely, simple feature fusion (SFF) and multiscale deformable feature fusion (MSDFF). The SFF is easy to implement, while the MSDFF has stronger fusion abilities. On the other hand, we propose a semantic-guided head to perform foreground-background segmentation on voxels with voxel feature re-weighting, further alleviating the problem of feature blurring. Extensive experiments on the View-of-Delft (VoD) and TJ4DRadset datasets demonstrate the effectiveness of our MSSF. Notably, compared to state-of-the-art methods, MSSF achieves a 7.0% and 4.0% improvement in 3D mean average precision on the VoD and TJ4DRadSet datasets, respectively. It even surpasses classical LiDAR-based methods on the VoD dataset.
• Abstract（参考訳）: 近年出現した自動車用センサーの1つとして、4Dミリ波レーダーは従来の3Dレーダーよりも高解像度であり、正確な標高測定を提供する。 しかし、雲はいまだに希少でうるさいため、自動運転の要件を満たすことは困難だ。 カメラはまた、一般的なセンサーとして、リッチなセマンティック情報をキャプチャすることができる。 その結果、4Dレーダーとカメラの融合は、自動運転システムに安価で堅牢な認識ソリューションを提供することができる。 しかし、従来のレーダー・カメラ融合法はまだ十分に研究されていないため、LiDAR法と比較して大きな性能差がある。 具体的には,特徴呈示問題を無視し,画像意味情報と深く相互作用しない。 この目的のために,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 一方,画像特徴とポイントクラウドの特徴を深く相互作用できる融合ブロックを設計し,プラグイン・アンド・プレイ方式で一般的な単一モードバックボーンに適用する。 融合ブロックは、単純な特徴融合(SFF)とマルチスケールの変形可能な特徴融合(MSDFF)の2種類を含む。 SFFは実装が容易であり、MSDFFはより強力な融合能力を持つ。 一方,ボクセルの特徴を再重み付けしたボクセルに対して,前景のセグメンテーションを行うためのセグメンテーション誘導ヘッドを提案する。 View-of-Delft(VoD)とTJ4DRadsetデータセットに関する大規模な実験は、我々のMSSFの有効性を実証している。 特に、最先端の手法と比較して、MSSFはVoDデータセットとTJ4DRadSetデータセットの平均精度をそれぞれ7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。

関連論文リスト

• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• 4DRVO-Net: Deep 4D Radar-Visual Odometry Using Multi-Modal and Multi-Scale Adaptive Fusion [2.911052912709637]
  4次元(4D)レーダー-視覚計測(4DRVO)は4次元レーダーとカメラの補完情報を統合している。 4DRVOは4Dレーダーポイント雲の空隙による追跡誤差が顕著である可能性がある。 本稿では,4次元レーダ・ビジュアル・オドメトリーの手法である4DRVO-Netを提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:00:09Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• SMURF: Spatial Multi-Representation Fusion for 3D Object Detection with 4D Imaging Radar [12.842457981088378]
  本稿では,単一4次元イメージングレーダを用いた新しい3次元物体検出手法である空間多重表現融合(SMURF)を提案する。 SMURFは、狭角分解能とレーダ信号のマルチパス伝搬による測定精度の低下を緩和する。 The experimental evaluations on View-of-Delft (VoD) and TJ4DRadSet datasets showed the effective and generalization ability of SMURF。
  論文  参考訳（メタデータ） (2023-07-20T11:33:46Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer [14.849645397321185]
  カメラレーダーセンサーは、LiDARと比較してコスト、信頼性、メンテナンスにおいて大きな利点がある。 既存の融合法はしばしば、後期融合戦略(英語版)と呼ばれる結果レベルで単一のモダリティの出力を融合させる。 本稿では,3次元物体検出のためのカメラとレーダーの空間的特性と文脈的特性を効果的に活用する提案レベルの早期融合手法を提案する。 我々のカメラレーダ融合アプローチは、カメラ専用ベースラインよりも8.7および10.8ポイント高いnuScenesテストセット上で、41.1% mAPと52.3% NDSの最先端を実現し、また、カメラ上での競争性能を得る。
  論文  参考訳（メタデータ） (2022-09-14T10:25:30Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection [6.959556180268547]
  本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。 より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T13:21:37Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。