論文の概要: ClusterFusion: Leveraging Radar Spatial Features for Radar-Camera 3D
Object Detection in Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2309.03734v1
- Date: Thu, 7 Sep 2023 14:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 12:50:22.051090
- Title: ClusterFusion: Leveraging Radar Spatial Features for Radar-Camera 3D
Object Detection in Autonomous Vehicles
- Title（参考訳）: ClusterFusion: 自律走行車におけるレーダーカメラ3次元物体検出のためのレーダ空間特性の活用
- Authors: Irfan Tito Kurniawan and Bambang Riyanto Trilaksono
- Abstract要約: ディープラーニングレーダカメラによる3Dオブジェクト検出手法は、低視認性条件でも確実に正確な検出を行うことができる。
最近のレーダカメラ法では、画像の特徴と同じ平面上にレーダーポイントを投射し、両方のモダリティから抽出した特徴を融合させ、特徴レベルの融合を行うのが一般的である。
我々は、ポイントクラウドをクラスタ化し、ポイントクラウドクラスタ上で直接機能抽出を行うことで、レーダポイントクラウドの局所的な空間的特徴を活用するアーキテクチャであるClusterFusionを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thanks to the complementary nature of millimeter wave radar and camera, deep
learning-based radar-camera 3D object detection methods may reliably produce
accurate detections even in low-visibility conditions. This makes them
preferable to use in autonomous vehicles' perception systems, especially as the
combined cost of both sensors is cheaper than the cost of a lidar. Recent
radar-camera methods commonly perform feature-level fusion which often involves
projecting the radar points onto the same plane as the image features and
fusing the extracted features from both modalities. While performing fusion on
the image plane is generally simpler and faster, projecting radar points onto
the image plane flattens the depth dimension of the point cloud which might
lead to information loss and makes extracting the spatial features of the point
cloud harder. We proposed ClusterFusion, an architecture that leverages the
local spatial features of the radar point cloud by clustering the point cloud
and performing feature extraction directly on the point cloud clusters before
projecting the features onto the image plane. ClusterFusion achieved the
state-of-the-art performance among all radar-monocular camera methods on the
test slice of the nuScenes dataset with 48.7% nuScenes detection score (NDS).
We also investigated the performance of different radar feature extraction
strategies on point cloud clusters: a handcrafted strategy, a learning-based
strategy, and a combination of both, and found that the handcrafted strategy
yielded the best performance. The main goal of this work is to explore the use
of radar's local spatial and point-wise features by extracting them directly
from radar point cloud clusters for a radar-monocular camera 3D object
detection method that performs cross-modal feature fusion on the image plane.
- Abstract（参考訳）: ミリ波レーダとカメラの相補的な性質により、深層学習に基づくレーダーカメラによる3Dオブジェクト検出法は、低視認性条件でも確実に正確な検出を行うことができる。
これにより、両センサーの合計コストはライダーのコストよりも安価であるため、自動運転車の知覚システムでの使用が好まれる。
最近のレーダーカメラの手法では、画像の特徴と同じ平面にレーダーポイントを投影し、両方のモダリティから抽出した特徴を融合させる機能レベルの融合が一般的である。
イメージプレーン上での融合は一般的に簡単で高速であるが、レーダーをイメージプレーンに投影すると、情報損失につながるポイントクラウドの深さ次元が平坦になり、ポイントクラウドの空間的特徴の抽出が難しくなる。
本研究では,ポイントクラウドをクラスタリングし,ポイントクラウドクラスタ上で直接特徴抽出を行い,その特徴をイメージプレーンに投影することで,レーダーポイントクラウドの局所的空間的特徴を活用するアーキテクチャであるclusterfusionを提案する。
ClusterFusion は、NDS (48.7% nuScenes detection score) による nuScenes データセットのテストスライスにおいて、すべてのレーダー-眼カメラ手法の最先端性能を達成した。
また, ポイントクラウドクラスタ上での各種レーダ特徴抽出戦略の性能について検討し, ハンドクラフト戦略, ラーニングベース戦略, 両者の組み合わせを検討した結果, ハンドクラフト戦略が最高の性能を示した。
本研究の主な目的は,レーダ点群から直接抽出し,画像平面上でクロスモーダルな特徴融合を行うレーダ-モンカメラ3Dオブジェクト検出法について,レーダの局所的空間的特徴と点的特徴の利用を検討することである。
関連論文リスト
- GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。
レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。
提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
論文 参考訳（メタデータ） (2024-09-02T14:15:09Z) - RadarPillars: Efficient Object Detection from 4D Radar Point Clouds [42.9356088038035]
本稿では,柱型物体検出ネットワークRadarPillarsを提案する。
放射速度データを分解することにより、RadarPillarsは、View-of-Delftデータセットの最先端検出結果を大幅に上回る。
これはパラメータ数を大幅に削減し、既存のメソッドを効率面で上回り、エッジデバイス上でのリアルタイムパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-08-09T12:13:38Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。
また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。
我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
論文 参考訳（メタデータ） (2023-07-17T09:26:13Z) - ROFusion: Efficient Object Detection using Hybrid Point-wise
Radar-Optical Fusion [14.419658061805507]
本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。
このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
論文 参考訳（メタデータ） (2023-07-17T04:25:46Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - MVFusion: Multi-View 3D Object Detection with Semantic-aligned Radar and
Camera Fusion [6.639648061168067]
マルチビューレーダーカメラで融合した3Dオブジェクト検出は、より遠くの検知範囲と自律運転に有用な機能を提供する。
現在のレーダーとカメラの融合方式は、レーダー情報をカメラデータで融合するための種類の設計を提供する。
セマンティック・アライメント・レーダ機能を実現するための新しいマルチビューレーダカメラフュージョン法であるMVFusionを提案する。
論文 参考訳（メタデータ） (2023-02-21T08:25:50Z) - Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。
標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-05-27T05:42:16Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。