論文の概要: GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling
- arxiv url: http://arxiv.org/abs/2409.02720v2
- Date: Sun, 8 Sep 2024 18:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 22:10:02.929000
- Title: GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling
- Title（参考訳）: GET-UP: Radar Points UPsampling を用いたGEomeTric-Aware Depth Estimation
- Authors: Huawei Sun, Zixu Wang, Hao Feng, Julius Ott, Lorenzo Servadei, Robert Wille,
- Abstract要約: 既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。
レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。
提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
- 参考スコア（独自算出の注目度）: 7.90238039959534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth estimation plays a pivotal role in autonomous driving, facilitating a comprehensive understanding of the vehicle's 3D surroundings. Radar, with its robustness to adverse weather conditions and capability to measure distances, has drawn significant interest for radar-camera depth estimation. However, existing algorithms process the inherently noisy and sparse radar data by projecting 3D points onto the image plane for pixel-level feature extraction, overlooking the valuable geometric information contained within the radar point cloud. To address this gap, we propose GET-UP, leveraging attention-enhanced Graph Neural Networks (GNN) to exchange and aggregate both 2D and 3D information from radar data. This approach effectively enriches the feature representation by incorporating spatial relationships compared to traditional methods that rely only on 2D feature extraction. Furthermore, we incorporate a point cloud upsampling task to densify the radar point cloud, rectify point positions, and derive additional 3D features under the guidance of lidar data. Finally, we fuse radar and camera features during the decoding phase for depth estimation. We benchmark our proposed GET-UP on the nuScenes dataset, achieving state-of-the-art performance with a 15.3% and 14.7% improvement in MAE and RMSE over the previously best-performing model. Code: https://github.com/harborsarah/GET-UP
- Abstract（参考訳）: 深さ推定は、自動運転車において重要な役割を担い、車両の3D環境の包括的理解を促進する。
レーダーは悪天候条件に対する頑丈さと距離を測定する能力を備えており、レーダーカメラの深さ推定に大きな関心を寄せている。
しかし、既存のアルゴリズムは、3Dポイントを画像面に投影して画素レベルの特徴抽出を行い、レーダポイントクラウドに含まれる貴重な幾何学的情報を見渡すことによって、本質的にノイズでスパースなレーダデータを処理している。
このギャップに対処するために,レーダーデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。
この手法は,2次元特徴抽出のみに依存する従来の手法と比較して,空間的関係を取り入れた特徴表現を効果的に強化する。
さらに,レーダ点群を密度化し,点位置を補正し,ライダーデータに基づく付加的な3次元特徴を導出する点群アップサンプリングタスクを組み込んだ。
最後に、深度推定のためのデコードフェーズにおいて、レーダとカメラの特徴を融合する。
提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
コード:https://github.com/harborsarah/GET-UP
関連論文リスト
- RadarPillars: Efficient Object Detection from 4D Radar Point Clouds [42.9356088038035]
本稿では,柱型物体検出ネットワークRadarPillarsを提案する。
放射速度データを分解することにより、RadarPillarsは、View-of-Delftデータセットの最先端検出結果を大幅に上回る。
これはパラメータ数を大幅に削減し、既存のメソッドを効率面で上回り、エッジデバイス上でのリアルタイムパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-08-09T12:13:38Z) - CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation [6.9404362058736995]
本稿では,深度推定のための2段階・エンドツーエンドの信頼度対応フュージョンネット(CaFNet)を提案する。
第1段階は、あいまいな標高やノイズ測定など、レーダー固有の課題に対処する。
最終深度推定のために、レーダと画像の特徴を効果的に統合するための信頼性を考慮したゲート融合機構を革新する。
論文 参考訳（メタデータ） (2024-06-30T13:39:29Z) - RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。
現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。
本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
論文 参考訳（メタデータ） (2024-05-22T21:48:17Z) - Enhanced Radar Perception via Multi-Task Learning: Towards Refined Data for Sensor Fusion Applications [6.237187007098249]
本研究は,3次元物体に関連付けられたレーダー点の高さを推定するための学習に基づくアプローチを導入する。
平均レーダー絶対高さ誤差は最先端高度法と比較して1.69mから0.25mに減少する。
論文 参考訳（メタデータ） (2024-04-09T09:42:18Z) - CenterRadarNet: Joint 3D Object Detection and Tracking Framework using
4D FMCW Radar [28.640714690346353]
CenterRadarNetは、4D(Doppler-range-azimuth-ele)レーダーデータからの高分解能表現学習を容易にするように設計されている。
シングルステージの3Dオブジェクト検出器として、CenterRadarNetは、BEVオブジェクト分布の信頼性マップ、対応する3Dバウンディングボックス属性、および各ピクセルの外観埋め込みを推論する。
さまざまな駆動シナリオにおいて、CenterRadarNetは一貫性があり、堅牢なパフォーマンスを示し、その広範な適用性を強調している。
論文 参考訳（メタデータ） (2023-11-02T17:36:40Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and
Stereo Data Fusion [62.24001258298076]
VPFNetは、ポイントクラウドとイメージデータを仮想のポイントで巧みに調整し集約する新しいアーキテクチャである。
当社のVPFNetは,KITTIテストセットで83.21%の中等度3D AP,91.86%中等度BEV APを達成し,2021年5月21日以来の1位となった。
論文 参考訳（メタデータ） (2021-11-29T08:51:20Z) - Shape Prior Non-Uniform Sampling Guided Real-time Stereo 3D Object
Detection [59.765645791588454]
最近導入されたRTS3Dは、深度監督のないオブジェクトの中間表現のための効率的な4次元特徴整合埋め込み空間を構築している。
本研究では, 内部領域で高密度サンプリングを行い, 内部領域でスパースサンプリングを行う非一様サンプリング方式を提案する。
提案手法は,ネットワークパラメータをほとんど含まないAP3dに対して2.57%の改善を実現している。
論文 参考訳（メタデータ） (2021-06-18T09:14:55Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:36:39Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-08-16T11:01:20Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。