論文の概要: CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection
- arxiv url: http://arxiv.org/abs/2210.09267v2
- Date: Tue, 18 Oct 2022 01:46:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 10:35:32.936712
- Title: CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection
- Title(参考訳): CramNet:ロバスト3次元物体検出のための光拘束クロスアテンションを用いたカメラレーダ融合
- Authors: Jyh-Jing Hwang and Henrik Kretzschmar and Joshua Manela and Sean
Rafferty and Nicholas Armstrong-Crews and Tiffany Chen and Dragomir Anguelov
- Abstract要約: 本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
- 参考スコア(独自算出の注目度): 12.557361522985898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust 3D object detection is critical for safe autonomous driving. Camera
and radar sensors are synergistic as they capture complementary information and
work well under different environmental conditions. Fusing camera and radar
data is challenging, however, as each of the sensors lacks information along a
perpendicular axis, that is, depth is unknown to camera and elevation is
unknown to radar. We propose the camera-radar matching network CramNet, an
efficient approach to fuse the sensor readings from camera and radar in a joint
3D space. To leverage radar range measurements for better camera depth
predictions, we propose a novel ray-constrained cross-attention mechanism that
resolves the ambiguity in the geometric correspondences between camera features
and radar features. Our method supports training with sensor modality dropout,
which leads to robust 3D object detection, even when a camera or radar sensor
suddenly malfunctions on a vehicle. We demonstrate the effectiveness of our
fusion approach through extensive experiments on the RADIATE dataset, one of
the few large-scale datasets that provide radar radio frequency imagery. A
camera-only variant of our method achieves competitive performance in monocular
3D object detection on the Waymo Open Dataset.
- Abstract(参考訳): ロバストな3Dオブジェクト検出は安全な自動運転に不可欠である。
カメラとレーダーセンサーは相補的な情報を捉え、異なる環境条件下でうまく機能するため、相乗効果がある。
しかし、カメラとレーダーデータの融合は困難であり、各センサーは垂直軸に沿った情報を欠いているため、カメラの深さが不明であり、レーダーの高度が不明である。
本研究では,カメラとレーダからのセンサ読み出しを3次元空間に融合する効率的な手法として,カメラとレーダーのマッチングネットワークcranchnetを提案する。
レーダ範囲の測定をカメラ深度予測の精度向上に活用するために,カメラ特徴とレーダ特徴との幾何学的対応の曖昧さを解消する新手法を提案する。
本手法は,カメラやレーダセンサが突然車両に故障した場合でも,ロバストな3d物体検出を実現するセンサモダリティドロップアウトによるトレーニングをサポートする。
我々は,レーダー電波画像を提供する数少ない大規模データセットであるradiation datasetに関する広範囲な実験を通じて,核融合手法の有効性を実証する。
本手法は,Waymo Open Dataset上でのモノクロ3Dオブジェクト検出において,カメラのみによる競合性能を実現する。
関連論文リスト
- Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous
Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。
この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文 参考訳(メタデータ) (2023-11-17T01:07:37Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework [10.931114142452895]
現在のSOTAアルゴリズムは、カメラとLidarセンサーを組み合わせており、Lidarの価格に制限されている。
HVDetFusionは、純粋なカメラデータを検出の入力としてサポートするマルチモーダル検出アルゴリズムである。
HVDetFusionは、すべてのカメラレーダー3Dオブジェクト検出器の中で、挑戦的なnuScenesテストセットに対して、最先端の67.4% NDSを新たに達成した。
論文 参考訳(メタデータ) (2023-07-21T03:08:28Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-06-02T10:57:41Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - Drone Detection and Tracking in Real-Time by Fusion of Different Sensing
Modalities [66.4525391417921]
マルチセンサ・ドローン検知システムの設計と評価を行う。
われわれのソリューションは、魚眼カメラを統合し、空の広い部分を監視し、他のカメラを興味ある対象に向けて操縦する。
このサーマルカメラは、たとえこのカメラが解像度が低いとしても、ビデオカメラと同じくらい実現可能なソリューションであることが示されている。
論文 参考訳(メタデータ) (2022-07-05T10:00:58Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Rethinking of Radar's Role: A Camera-Radar Dataset and Systematic
Annotator via Coordinate Alignment [38.24705460170415]
CRUWと呼ばれる新しいデータセットを体系的なアノテーションとパフォーマンス評価システムで提案する。
CRUWは、レーダーの無線周波数(RF)画像から3Dのオブジェクトを純粋に分類し、ローカライズすることを目指しています。
私たちの知る限り、CRUWは体系的なアノテーションと評価システムを備えた最初の公開大規模データセットです。
論文 参考訳(メタデータ) (2021-05-11T17:13:45Z) - RODNet: A Real-Time Radar Object Detection Network Cross-Supervised by
Camera-Radar Fused Object 3D Localization [30.42848269877982]
本稿では,カメラレーダ融合アルゴリズムによって相互に監視される深層レーダ物体検出ネットワーク RODNet を提案する。
提案したRDDNetは、レーダフィールド・オブ・ビュー(FoV)におけるオブジェクトの可能性を予測するための入力として、RF画像のシーケンスを用いる。
集中的な実験により,提案手法は平均精度86%,オブジェクト検出性能88%を達成した。
論文 参考訳(メタデータ) (2021-02-09T22:01:55Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z) - RODNet: Radar Object Detection Using Cross-Modal Supervision [34.33920572597379]
レーダーは通常、厳しい運転シナリオではカメラよりも頑丈である。
カメラが撮影したRGB画像とは異なり、レーダー信号からのセマンティック情報は明らかに抽出が困難である。
レーダ周波数データからオブジェクトを純粋に検出するディープレーダオブジェクト検出ネットワーク(RODNet)を提案する。
論文 参考訳(メタデータ) (2020-03-03T22:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。