論文の概要: Availability-aware Sensor Fusion via Unified Canonical Space for 4D Radar, LiDAR, and Camera

• arxiv url: http://arxiv.org/abs/2503.07029v1
• Date: Mon, 10 Mar 2025 08:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:41.345037
• Title: Availability-aware Sensor Fusion via Unified Canonical Space for 4D Radar, LiDAR, and Camera
• Title（参考訳）: 4次元レーダ,LiDAR,カメラのための統一標準空間によるアベイラビリティを考慮したセンサフュージョン
• Authors: Dong-Hee Paek, Seung-Hyun Kong,
• Abstract要約: 本稿では,ASF (Availability-Aware Sensor fusion) を提案する。UCP (Unified Canonical projection) を用いて,パッチ(CASAP) に沿ったセンサ間の融合とクロスアテンションを実現する。 提案したASFは,各種気象条件およびセンサ劣化(または故障)条件下での既存の最先端核融合法よりも優れた物体検出性能を示す。
• 参考スコア（独自算出の注目度）: 6.636342419996716
• License:
• Abstract: Sensor fusion of camera, LiDAR, and 4-dimensional (4D) Radar has brought a significant performance improvement in autonomous driving (AD). However, there still exist fundamental challenges: deeply coupled fusion methods assume continuous sensor availability, making them vulnerable to sensor degradation and failure, whereas sensor-wise cross-attention fusion methods struggle with computational cost and unified feature representation. This paper presents availability-aware sensor fusion (ASF), a novel method that employs unified canonical projection (UCP) to enable consistency in all sensor features for fusion and cross-attention across sensors along patches (CASAP) to enhance robustness of sensor fusion against sensor degradation and failure. As a result, the proposed ASF shows a superior object detection performance to the existing state-of-the-art fusion methods under various weather and sensor degradation (or failure) conditions; Extensive experiments on the K-Radar dataset demonstrate that ASF achieves improvements of 9.7% in AP BEV (87.2%) and 20.1% in AP 3D (73.6%) in object detection at IoU=0.5, while requiring a low computational cost. The code will be available at https://github.com/kaist-avelab/K-Radar.
• Abstract（参考訳）: カメラ、LiDAR、および4次元(4次元)レーダーのセンサー融合により、自律走行(AD)の性能が大幅に向上した。 しかし、深い結合融合法は連続的なセンサの可用性を前提としており、センサ劣化や故障に対して脆弱であるのに対し、センサワイドのクロスアテンション融合法は計算コストと統合された特徴表現に苦慮している。 本報告では,センサ間の融合とセンサ間のクロスアテンションの整合性を両立させ,センサの劣化や故障に対するセンサフュージョンの堅牢性を高めるために,UCP(Unified Canonical projection)を用いた新しいセンサフュージョン(ASF)を提案する。 その結果、提案したASFは、様々な気象・センサ劣化(または故障)条件下での既存の最先端核融合法よりも優れたオブジェクト検出性能を示し、K-Radarデータセットの大規模な実験により、ASFは、IoU=0.5のオブジェクト検出において9.7%(87.2%)、20.1%(73.6%)の改善を達成し、低計算コストを要求されている。 コードはhttps://github.com/kaist-avelab/K-Radar.comから入手できる。

関連論文リスト

• MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving [9.184945917823047]
  本研究では,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 MSSFは、View-of-Delft(VoD)とTJ4DRadsetデータセットの3D平均精度を7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。
  論文  参考訳（メタデータ） (2024-11-22T15:45:23Z)
• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。 我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
  本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。 我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。 提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
  論文  参考訳（メタデータ） (2024-04-25T12:04:31Z)
• DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection [0.7919810878571297]
  デュアル・パースペクティブ・フュージョン・トランス (DPFT) と呼ばれる新しいカメラレーダ融合手法を提案する。 本手法では,処理された点雲の代わりに,低レベルのレーダデータ(レーダキューブ)を活用して,できるだけ多くの情報を保存する。 DPFTは、K-Radarデータセットの最先端性能を実証し、悪天候に対する顕著な堅牢性を示した。
  論文  参考訳（メタデータ） (2024-04-03T18:54:27Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer [14.849645397321185]
  カメラレーダーセンサーは、LiDARと比較してコスト、信頼性、メンテナンスにおいて大きな利点がある。 既存の融合法はしばしば、後期融合戦略(英語版)と呼ばれる結果レベルで単一のモダリティの出力を融合させる。 本稿では,3次元物体検出のためのカメラとレーダーの空間的特性と文脈的特性を効果的に活用する提案レベルの早期融合手法を提案する。 我々のカメラレーダ融合アプローチは、カメラ専用ベースラインよりも8.7および10.8ポイント高いnuScenesテストセット上で、41.1% mAPと52.3% NDSの最先端を実現し、また、カメラ上での競争性能を得る。
  論文  参考訳（メタデータ） (2022-09-14T10:25:30Z)
• Drone Detection and Tracking in Real-Time by Fusion of Different Sensing Modalities [66.4525391417921]
  マルチセンサ・ドローン検知システムの設計と評価を行う。 われわれのソリューションは、魚眼カメラを統合し、空の広い部分を監視し、他のカメラを興味ある対象に向けて操縦する。 このサーマルカメラは、たとえこのカメラが解像度が低いとしても、ビデオカメラと同じくらい実現可能なソリューションであることが示されている。
  論文  参考訳（メタデータ） (2022-07-05T10:00:58Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• Radar Voxel Fusion for 3D Object Detection [0.0]
  本稿では,3次元物体検出のための低レベルセンサ融合ネットワークを開発する。 レーダーセンサーの融合は、雨や夜景のような裂け目状態において特に有益である。
  論文  参考訳（メタデータ） (2021-06-26T20:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。