Fugu-MT 論文翻訳(概要): CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception

論文の概要: CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception

arxiv url: http://arxiv.org/abs/2304.00670v3
Date: Sat, 23 Dec 2023 17:10:00 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 23:09:08.540878
Title: CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception
Title（参考訳）: CRN: 高精度でロバストで効率的な3D知覚のためのカメラレーダネット
Authors: Youngseok Kim, Juyeb Shin, Sanmin Kim, In-Jae Lee, Jun Won Choi, Dongsuk Kum
Abstract要約: カメラレーダ融合フレームワークであるカメラレーダネット(CRN)を提案する。 CRNは、様々なタスクに対して意味的にリッチで空間的に正確な鳥眼視(BEV)特徴マップを生成する。リアルタイム設定のCRNは20FPSで動作し、nuScenes上のLiDAR検出器に匹敵する性能を実現している。
参考スコア（独自算出の注目度）: 20.824179713013734
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Autonomous driving requires an accurate and fast 3D perception system that includes 3D object detection, tracking, and segmentation. Although recent low-cost camera-based approaches have shown promising results, they are susceptible to poor illumination or bad weather conditions and have a large localization error. Hence, fusing camera with low-cost radar, which provides precise long-range measurement and operates reliably in all environments, is promising but has not yet been thoroughly investigated. In this paper, we propose Camera Radar Net (CRN), a novel camera-radar fusion framework that generates a semantically rich and spatially accurate bird's-eye-view (BEV) feature map for various tasks. To overcome the lack of spatial information in an image, we transform perspective view image features to BEV with the help of sparse but accurate radar points. We further aggregate image and radar feature maps in BEV using multi-modal deformable attention designed to tackle the spatial misalignment between inputs. CRN with real-time setting operates at 20 FPS while achieving comparable performance to LiDAR detectors on nuScenes, and even outperforms at a far distance on 100m setting. Moreover, CRN with offline setting yields 62.4% NDS, 57.5% mAP on nuScenes test set and ranks first among all camera and camera-radar 3D object detectors.
Abstract（参考訳）: 自律運転には、3Dオブジェクトの検出、追跡、セグメンテーションを含む正確で高速な3D知覚システムが必要である。最近の低コストカメラベースのアプローチは有望な結果を示しているが、照明の悪さや悪天候の影響を受けやすいため、局所誤差が大きい。したがって、精密な長距離測定を提供し、すべての環境で確実に作動する低コストのレーダーカメラは有望であるが、まだ十分に調査されていない。本稿では,様々なタスクに対して,意味的にリッチで空間的に正確なbird's-eye-view(bev)特徴マップを生成する,新しいカメラ・レーダー融合フレームワークであるcamer radar net(crn)を提案する。画像中の空間情報の欠如を克服するため、視線ビュー画像の特徴をスパースで正確なレーダーポイントの助けを借りてBEVに変換する。入力間の空間的不一致に対処するために設計されたマルチモーダル変形可能な注意を用いて,bevにおける画像とレーダ特徴マップをさらに集約する。リアルタイム設定のCRNは20FPSで動作し、nuScenes上のLiDAR検出器と同等の性能を達成し、100m設定で遠くでも性能を向上する。さらに、オフライン設定のCRNは、nuScenesテストセットで62.4%のNDS、57.5%のmAPを出力し、全カメラおよびカメラレーダー3Dオブジェクト検出器の中で第1位である。

関連論文リスト

A Resource Efficient Fusion Network for Object Detection in Bird's-Eye View using Camera and Raw Radar Data [7.2508100569856975]
レーダデータの生のレンジ・ドップラースペクトルを用いてカメラ画像を処理する。カメラエンコーダデコーダアーキテクチャを用いて,対応する特徴を抽出する。得られた特徴写像はレンジ・アジマス特徴と融合し、RDスペクトルから復元して物体検出を行う。
論文参考訳（メタデータ） (2024-11-20T13:26:13Z)
RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
論文参考訳（メタデータ） (2024-09-08T05:14:27Z)
Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文参考訳（メタデータ） (2024-05-07T20:44:48Z)
Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文参考訳（メタデータ） (2024-04-10T03:54:53Z)
Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文参考訳（メタデータ） (2024-04-08T01:38:43Z)
Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文参考訳（メタデータ） (2023-11-17T01:07:37Z)
Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文参考訳（メタデータ） (2023-07-31T09:53:50Z)
RC-BEVFusion: A Plug-In Module for Radar-Camera Bird's Eye View Feature Fusion [11.646949644683755]
本稿では,BEV平面上のモジュラーレーダカメラ融合ネットワークであるRC-BEVFusionを紹介する。 nuScenes検出スコアは最大28%向上した。
論文参考訳（メタデータ） (2023-05-25T09:26:04Z)
CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文参考訳（メタデータ） (2022-10-17T17:18:47Z)
Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2022-05-27T05:42:16Z)
LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文参考訳（メタデータ） (2020-10-02T00:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。