論文の概要: RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned
Metric Scale
- arxiv url: http://arxiv.org/abs/2401.04325v1
- Date: Tue, 9 Jan 2024 02:40:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 17:17:05.793714
- Title: RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned
Metric Scale
- Title(参考訳): radarcam-depth: 学習メトリックスケールによる深度推定のためのレーダーカメラ融合
- Authors: Han Li, Yukai Ma, Yaqing Gu, Kewei Hu, Yong Liu, Xingxing Zuo
- Abstract要約: 本稿では, 単視点画像とスパース, ノイズの多いレーダー点雲の融合に基づく, 距離密度推定のための新しい手法を提案する。
提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。
- 参考スコア(独自算出の注目度): 22.350033306080977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel approach for metric dense depth estimation based on the
fusion of a single-view image and a sparse, noisy Radar point cloud. The direct
fusion of heterogeneous Radar and image data, or their encodings, tends to
yield dense depth maps with significant artifacts, blurred boundaries, and
suboptimal accuracy. To circumvent this issue, we learn to augment versatile
and robust monocular depth prediction with the dense metric scale induced from
sparse and noisy Radar data. We propose a Radar-Camera framework for highly
accurate and fine-detailed dense depth estimation with four stages, including
monocular depth prediction, global scale alignment of monocular depth with
sparse Radar points, quasi-dense scale estimation through learning the
association between Radar points and image patches, and local scale refinement
of dense depth using a scale map learner. Our proposed method significantly
outperforms the state-of-the-art Radar-Camera depth estimation methods by
reducing the mean absolute error (MAE) of depth estimation by 25.6% and 40.2%
on the challenging nuScenes dataset and our self-collected ZJU-4DRadarCam
dataset, respectively.
- Abstract(参考訳): 本稿では,単視点画像と希薄でノイズの多いレーダポイント雲の融合に基づく,距離密集深度推定のための新しい手法を提案する。
異種レーダーと画像データの直接融合、あるいはそれらの符号化は、重要なアーティファクト、ぼやけた境界、そして準最適精度を持つ密度の深い深度マップを生成する傾向にある。
この問題を回避するために,広義でロバストな単眼深度予測を,希薄でノイズの多いレーダデータから生じる密集した距離スケールで拡張することを学ぶ。
本研究では,モノキュラー深度予測,モノキュラー深さのグローバルスケールアライメントとスパースレーダポイント,レーダーポイントとイメージパッチの関連を学習した擬似拡散スケール推定,スケールマップ学習器を用いた高密度深さの局所スケールリファインメントの4段階の高精度・細密深度推定のためのレーダーカメラフレームワークを提案する。
提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。
関連論文リスト
- RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
逆気象条件は正確な深度推定に重大な課題をもたらす。
本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。
本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
論文 参考訳(メタデータ) (2024-02-03T07:14:43Z) - Monocular Visual-Inertial Depth Estimation [66.71452943981558]
単眼深度推定と視覚慣性計測を統合した視覚慣性深度推定パイプラインを提案する。
提案手法は, 疎度度に対する大域的スケールとシフトアライメントを行い, 続いて学習に基づく高密度アライメントを行う。
本研究では,TartanAir と VOID のデータセットを用いて,密集したスケールアライメントによるRMSE の最大30%の削減を観測した。
論文 参考訳(メタデータ) (2023-03-21T18:47:34Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳(メタデータ) (2022-08-26T13:04:01Z) - How much depth information can radar infer and contribute [1.5899159309486681]
最新技術深度推定モデルを用いて,レーダデータの固有深度推定能力について検討する。
実験により, スパースレーダ入力のみによる推定深度は, 周囲の形状をある程度検出できることがわかった。
論文 参考訳(メタデータ) (2022-02-26T20:02:47Z) - R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of
Dynamic Scenes [69.6715406227469]
駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。
本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
論文 参考訳(メタデータ) (2021-08-10T17:57:03Z) - Depth Estimation from Monocular Images and Sparse radar using Deep
Ordinal Regression Network [2.0446891814677692]
我々は, スパースレーダデータを単眼深度推定モデルに統合し, レーダによって提供されるスパースネスと限られた視野を減らすための新しい前処理手法を提案する。
本稿では,Fuらによる深度回帰ネットワークに基づく深度学習を用いて,単眼2次元画像から高密度深度マップを推定する手法を提案する。
論文 参考訳(メタデータ) (2021-07-15T20:17:48Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳(メタデータ) (2021-02-21T05:24:18Z) - Multi-Modal Depth Estimation Using Convolutional Neural Networks [0.8701566919381223]
本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。
ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
論文 参考訳(メタデータ) (2020-12-17T15:31:49Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳(メタデータ) (2020-09-30T19:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。