論文の概要: RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale

• arxiv url: http://arxiv.org/abs/2401.04325v1
• Date: Tue, 9 Jan 2024 02:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:17:05.793714
• Title: RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale
• Title（参考訳）: radarcam-depth: 学習メトリックスケールによる深度推定のためのレーダーカメラ融合
• Authors: Han Li, Yukai Ma, Yaqing Gu, Kewei Hu, Yong Liu, Xingxing Zuo
• Abstract要約: 本稿では, 単視点画像とスパース, ノイズの多いレーダー点雲の融合に基づく, 距離密度推定のための新しい手法を提案する。 提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 22.350033306080977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel approach for metric dense depth estimation based on the fusion of a single-view image and a sparse, noisy Radar point cloud. The direct fusion of heterogeneous Radar and image data, or their encodings, tends to yield dense depth maps with significant artifacts, blurred boundaries, and suboptimal accuracy. To circumvent this issue, we learn to augment versatile and robust monocular depth prediction with the dense metric scale induced from sparse and noisy Radar data. We propose a Radar-Camera framework for highly accurate and fine-detailed dense depth estimation with four stages, including monocular depth prediction, global scale alignment of monocular depth with sparse Radar points, quasi-dense scale estimation through learning the association between Radar points and image patches, and local scale refinement of dense depth using a scale map learner. Our proposed method significantly outperforms the state-of-the-art Radar-Camera depth estimation methods by reducing the mean absolute error (MAE) of depth estimation by 25.6% and 40.2% on the challenging nuScenes dataset and our self-collected ZJU-4DRadarCam dataset, respectively.
• Abstract（参考訳）: 本稿では,単視点画像と希薄でノイズの多いレーダポイント雲の融合に基づく,距離密集深度推定のための新しい手法を提案する。 異種レーダーと画像データの直接融合、あるいはそれらの符号化は、重要なアーティファクト、ぼやけた境界、そして準最適精度を持つ密度の深い深度マップを生成する傾向にある。 この問題を回避するために,広義でロバストな単眼深度予測を,希薄でノイズの多いレーダデータから生じる密集した距離スケールで拡張することを学ぶ。 本研究では,モノキュラー深度予測,モノキュラー深さのグローバルスケールアライメントとスパースレーダポイント,レーダーポイントとイメージパッチの関連を学習した擬似拡散スケール推定,スケールマップ学習器を用いた高密度深さの局所スケールリファインメントの4段階の高精度・細密深度推定のためのレーダーカメラフレームワークを提案する。 提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。

関連論文リスト

• GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
  既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。 レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。 提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
  論文  参考訳（メタデータ） (2024-09-02T14:15:09Z)
• CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation [6.9404362058736995]
  本稿では,深度推定のための2段階・エンドツーエンドの信頼度対応フュージョンネット(CaFNet)を提案する。 第1段階は、あいまいな標高やノイズ測定など、レーダー固有の課題に対処する。 最終深度推定のために、レーダと画像の特徴を効果的に統合するための信頼性を考慮したゲート融合機構を革新する。
  論文  参考訳（メタデータ） (2024-06-30T13:39:29Z)
• RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
  逆気象条件は正確な深度推定に重大な課題をもたらす。 本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。 本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
  論文  参考訳（メタデータ） (2024-02-03T07:14:43Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• Monocular Visual-Inertial Depth Estimation [66.71452943981558]
  単眼深度推定と視覚慣性計測を統合した視覚慣性深度推定パイプラインを提案する。 提案手法は, 疎度度に対する大域的スケールとシフトアライメントを行い, 続いて学習に基づく高密度アライメントを行う。 本研究では,TartanAir と VOID のデータセットを用いて,密集したスケールアライメントによるRMSE の最大30%の削減を観測した。
  論文  参考訳（メタデータ） (2023-03-21T18:47:34Z)
• R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes [69.6715406227469]
  駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。 本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
  論文  参考訳（メタデータ） (2021-08-10T17:57:03Z)
• Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network [2.0446891814677692]
  我々は, スパースレーダデータを単眼深度推定モデルに統合し, レーダによって提供されるスパースネスと限られた視野を減らすための新しい前処理手法を提案する。 本稿では,Fuらによる深度回帰ネットワークに基づく深度学習を用いて,単眼2次元画像から高密度深度マップを推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-07-15T20:17:48Z)
• Multi-Modal Depth Estimation Using Convolutional Neural Networks [0.8701566919381223]
  本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。 ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
  論文  参考訳（メタデータ） (2020-12-17T15:31:49Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)
• Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
  本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。 レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。 実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
  論文  参考訳（メタデータ） (2020-09-30T19:01:33Z)
• RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
  我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。 我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
  論文  参考訳（メタデータ） (2020-07-28T17:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。