論文の概要: DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection

• arxiv url: http://arxiv.org/abs/2404.03015v1
• Date: Wed, 3 Apr 2024 18:54:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 18:44:36.513604
• Title: DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection
• Title（参考訳）: DPFT:カメラレーダーによる物体検出のためのデュアルパースペクティブフュージョン変換器
• Authors: Felix Fent, Andras Palffy, Holger Caesar,
• Abstract要約: デュアル・パースペクティブ・フュージョン・トランス (DPFT) と呼ばれる新しいカメラレーダ融合手法を提案する。 本手法では,処理された点雲の代わりに,低レベルのレーダデータ(レーダキューブ)を活用して,できるだけ多くの情報を保存する。 DPFTは、K-Radarデータセットの最先端性能を実証し、悪天候に対する顕著な堅牢性を示した。
• 参考スコア（独自算出の注目度）: 0.7919810878571297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The perception of autonomous vehicles has to be efficient, robust, and cost-effective. However, cameras are not robust against severe weather conditions, lidar sensors are expensive, and the performance of radar-based perception is still inferior to the others. Camera-radar fusion methods have been proposed to address this issue, but these are constrained by the typical sparsity of radar point clouds and often designed for radars without elevation information. We propose a novel camera-radar fusion approach called Dual Perspective Fusion Transformer (DPFT), designed to overcome these limitations. Our method leverages lower-level radar data (the radar cube) instead of the processed point clouds to preserve as much information as possible and employs projections in both the camera and ground planes to effectively use radars with elevation information and simplify the fusion with camera data. As a result, DPFT has demonstrated state-of-the-art performance on the K-Radar dataset while showing remarkable robustness against adverse weather conditions and maintaining a low inference time. The code is made available as open-source software under https://github.com/TUMFTM/DPFT.
• Abstract（参考訳）: 自動運転車の認識は効率的で堅牢で費用対効果が高い必要がある。 しかし、カメラは厳しい気象条件には耐えられず、ライダーセンサーは高価であり、レーダーによる認識の性能は他のものよりも劣っている。 カメラとレーダーの融合法はこの問題に対処するために提案されているが、これらはレーダー点雲の典型的な広がりに制約されており、標高情報を持たないレーダーのためにしばしば設計されている。 本稿では,これらの制約を克服するために,Dual Perspective Fusion Transformer (DPFT) と呼ばれる新しいカメラレーダ融合手法を提案する。 本手法では,処理された点雲の代わりに低レベルレーダデータ(レーダ立方体)を用いて可能な限り多くの情報を保存し,高度情報を用いたレーダを効果的に利用し,カメラデータとの融合を簡素化する。 その結果、DPFTはK-Radarデータセットの最先端性能を実証し、悪天候条件に対する顕著な堅牢性を示し、低い推測時間を維持した。 ソースコードはhttps://github.com/TUMFTM/DPFTで公開されている。

関連論文リスト

• A Resource Efficient Fusion Network for Object Detection in Bird's-Eye View using Camera and Raw Radar Data [7.2508100569856975]
  レーダデータの生のレンジ・ドップラースペクトルを用いてカメラ画像を処理する。 カメラエンコーダデコーダアーキテクチャを用いて,対応する特徴を抽出する。 得られた特徴写像はレンジ・アジマス特徴と融合し、RDスペクトルから復元して物体検出を行う。
  論文  参考訳（メタデータ） (2024-11-20T13:26:13Z)
• Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
  本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。 提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。 本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-07T20:44:48Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• RC-BEVFusion: A Plug-In Module for Radar-Camera Bird's Eye View Feature Fusion [11.646949644683755]
  本稿では,BEV平面上のモジュラーレーダカメラ融合ネットワークであるRC-BEVFusionを紹介する。 nuScenes検出スコアは最大28%向上した。
  論文  参考訳（メタデータ） (2023-05-25T09:26:04Z)
• RadarFormer: Lightweight and Accurate Real-Time Radar Object Detection Model [13.214257841152033]
  レーダー中心のデータセットは、レーダー知覚のためのディープラーニング技術の開発にはあまり注目されていない。 本稿では,視覚深層学習における最先端技術を活用したトランスフォーマーモデルRadarFormerを提案する。 また、チャネルチャープ時マージモジュールを導入し、精度を損なうことなく、モデルのサイズと複雑さを10倍以上に削減する。
  論文  参考訳（メタデータ） (2023-04-17T17:07:35Z)
• CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection [12.557361522985898]
  本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。 本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
  論文  参考訳（メタデータ） (2022-10-17T17:18:47Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)
• RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
  我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。 我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
  論文  参考訳（メタデータ） (2020-07-28T17:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。