Fugu-MT 論文翻訳(概要): CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection

論文の概要: CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection

arxiv url: http://arxiv.org/abs/2210.09267v2
Date: Tue, 18 Oct 2022 01:46:28 GMT
ステータス: 処理完了
システム内更新日: 2022-10-19 10:35:32.936712
Title: CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection
Title（参考訳）: CramNet:ロバスト3次元物体検出のための光拘束クロスアテンションを用いたカメラレーダ融合
Authors: Jyh-Jing Hwang and Henrik Kretzschmar and Joshua Manela and Sean Rafferty and Nicholas Armstrong-Crews and Tiffany Chen and Dragomir Anguelov
Abstract要約: 本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
参考スコア（独自算出の注目度）: 12.557361522985898
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Robust 3D object detection is critical for safe autonomous driving. Camera and radar sensors are synergistic as they capture complementary information and work well under different environmental conditions. Fusing camera and radar data is challenging, however, as each of the sensors lacks information along a perpendicular axis, that is, depth is unknown to camera and elevation is unknown to radar. We propose the camera-radar matching network CramNet, an efficient approach to fuse the sensor readings from camera and radar in a joint 3D space. To leverage radar range measurements for better camera depth predictions, we propose a novel ray-constrained cross-attention mechanism that resolves the ambiguity in the geometric correspondences between camera features and radar features. Our method supports training with sensor modality dropout, which leads to robust 3D object detection, even when a camera or radar sensor suddenly malfunctions on a vehicle. We demonstrate the effectiveness of our fusion approach through extensive experiments on the RADIATE dataset, one of the few large-scale datasets that provide radar radio frequency imagery. A camera-only variant of our method achieves competitive performance in monocular 3D object detection on the Waymo Open Dataset.
Abstract（参考訳）: ロバストな3Dオブジェクト検出は安全な自動運転に不可欠である。カメラとレーダーセンサーは相補的な情報を捉え、異なる環境条件下でうまく機能するため、相乗効果がある。しかし、カメラとレーダーデータの融合は困難であり、各センサーは垂直軸に沿った情報を欠いているため、カメラの深さが不明であり、レーダーの高度が不明である。本研究では,カメラとレーダからのセンサ読み出しを3次元空間に融合する効率的な手法として,カメラとレーダーのマッチングネットワークcranchnetを提案する。レーダ範囲の測定をカメラ深度予測の精度向上に活用するために,カメラ特徴とレーダ特徴との幾何学的対応の曖昧さを解消する新手法を提案する。本手法は,カメラやレーダセンサが突然車両に故障した場合でも,ロバストな3d物体検出を実現するセンサモダリティドロップアウトによるトレーニングをサポートする。我々は,レーダー電波画像を提供する数少ない大規模データセットであるradiation datasetに関する広範囲な実験を通じて,核融合手法の有効性を実証する。本手法は,Waymo Open Dataset上でのモノクロ3Dオブジェクト検出において,カメラのみによる競合性能を実現する。

関連論文リスト

RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
論文参考訳（メタデータ） (2024-09-08T05:14:27Z)
Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文参考訳（メタデータ） (2024-05-07T20:44:48Z)
Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文参考訳（メタデータ） (2024-04-10T03:54:53Z)
RCBEVDet: Radar-camera Fusion in Bird's Eye View for 3D Object Detection [33.07575082922186]
3次元物体検出は、自律運転における重要なタスクの1つである。カメラのみに頼って高度に正確で頑丈な3Dオブジェクト検出を実現するのは難しい。鳥眼ビュー(BEV)におけるレーダーカメラ融合3次元物体検出法 RadarBEVNetはデュアルストリームのレーダーバックボーンとRadar Cross-Section (RC)対応のBEVエンコーダで構成されている。
論文参考訳（メタデータ） (2024-03-25T06:02:05Z)
Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文参考訳（メタデータ） (2023-11-17T01:07:37Z)
Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文参考訳（メタデータ） (2023-07-31T09:53:50Z)
HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework [10.931114142452895]
現在のSOTAアルゴリズムは、カメラとLidarセンサーを組み合わせており、Lidarの価格に制限されている。 HVDetFusionは、純粋なカメラデータを検出の入力としてサポートするマルチモーダル検出アルゴリズムである。 HVDetFusionは、すべてのカメラレーダー3Dオブジェクト検出器の中で、挑戦的なnuScenesテストセットに対して、最先端の67.4% NDSを新たに達成した。
論文参考訳（メタデータ） (2023-07-21T03:08:28Z)
Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文参考訳（メタデータ） (2023-05-12T18:08:51Z)
Drone Detection and Tracking in Real-Time by Fusion of Different Sensing Modalities [66.4525391417921]
マルチセンサ・ドローン検知システムの設計と評価を行う。われわれのソリューションは、魚眼カメラを統合し、空の広い部分を監視し、他のカメラを興味ある対象に向けて操縦する。このサーマルカメラは、たとえこのカメラが解像度が低いとしても、ビデオカメラと同じくらい実現可能なソリューションであることが示されている。
論文参考訳（メタデータ） (2022-07-05T10:00:58Z)
RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文参考訳（メタデータ） (2020-07-28T17:15:02Z)
RODNet: Radar Object Detection Using Cross-Modal Supervision [34.33920572597379]
レーダーは通常、厳しい運転シナリオではカメラよりも頑丈である。カメラが撮影したRGB画像とは異なり、レーダー信号からのセマンティック情報は明らかに抽出が困難である。レーダ周波数データからオブジェクトを純粋に検出するディープレーダオブジェクト検出ネットワーク(RODNet)を提案する。
論文参考訳（メタデータ） (2020-03-03T22:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。