論文の概要: RIDERS: Radar-Infrared Depth Estimation for Robust Sensing

• arxiv url: http://arxiv.org/abs/2402.02067v1
• Date: Sat, 3 Feb 2024 07:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:28:55.761608
• Title: RIDERS: Radar-Infrared Depth Estimation for Robust Sensing
• Title（参考訳）: RIDERS:ロバストセンシングのためのレーダー赤外深度推定
• Authors: Han Li, Yukai Ma, Yuehao Huang, Yaqing Gu, Weihua Xu, Yong Liu, Xingxing Zuo
• Abstract要約: 逆気象条件は正確な深度推定に重大な課題をもたらす。 本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。 本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
• 参考スコア（独自算出の注目度）: 22.10378524682712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense depth recovery is crucial in autonomous driving, serving as a foundational element for obstacle avoidance, 3D object detection, and local path planning. Adverse weather conditions, including haze, dust, rain, snow, and darkness, introduce significant challenges to accurate dense depth estimation, thereby posing substantial safety risks in autonomous driving. These challenges are particularly pronounced for traditional depth estimation methods that rely on short electromagnetic wave sensors, such as visible spectrum cameras and near-infrared LiDAR, due to their susceptibility to diffraction noise and occlusion in such environments. To fundamentally overcome this issue, we present a novel approach for robust metric depth estimation by fusing a millimeter-wave Radar and a monocular infrared thermal camera, which are capable of penetrating atmospheric particles and unaffected by lighting conditions. Our proposed Radar-Infrared fusion method achieves highly accurate and finely detailed dense depth estimation through three stages, including monocular depth prediction with global scale alignment, quasi-dense Radar augmentation by learning Radar-pixels correspondences, and local scale refinement of dense depth using a scale map learner. Our method achieves exceptional visual quality and accurate metric estimation by addressing the challenges of ambiguity and misalignment that arise from directly fusing multi-modal long-wave features. We evaluate the performance of our approach on the NTU4DRadLM dataset and our self-collected challenging ZJU-Multispectrum dataset. Especially noteworthy is the unprecedented robustness demonstrated by our proposed method in smoky scenarios. Our code will be released at \url{https://github.com/MMOCKING/RIDERS}.
• Abstract（参考訳）: 深度回復は自律運転において不可欠であり、障害物回避、3次元物体検出、局所経路計画の基礎的要素として機能する。 干し草、ほこり、雨、雪、暗闇といった逆の気象条件は、正確な深度推定に重大な課題をもたらし、自動運転においてかなりの安全リスクをもたらす。 これらの課題は、可視光スペクトルカメラや近赤外lidarのような短距離電磁波センサに依存する従来の深さ推定法において特に顕著である。 この問題を根本的に克服するために,光環境の影響を受けない大気粒子を透過可能なミリ波レーダと単眼赤外線熱カメラを融合させることにより,ロバストな距離推定手法を提案する。 提案手法は,グローバルスケールアライメントによる単眼深度予測,レーダ・ピクセル対応の学習による準拡散レーダ強化,スケールマップ学習器を用いた密集深度の局所的精密化など,高精度で詳細な深部深部推定を実現する。 本手法は,マルチモーダルな長波特徴を直接使用することにより生じる曖昧さと不一致の課題に対処し,異常な視覚品質と正確な距離推定を実現する。 我々は,NTU4DRadLMデータセットに対するアプローチと,ZJU-Multispectrumデータセットの自己コンパイルによる評価を行った。 特に注目すべきは、スモーキーシナリオにおける提案手法による前例のない堅牢性である。 私たちのコードは \url{https://github.com/MMOCKING/RIDERS} でリリースされます。

関連論文リスト

• GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
  既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。 レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。 提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
  論文  参考訳（メタデータ） (2024-09-02T14:15:09Z)
• CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation [6.9404362058736995]
  本稿では,深度推定のための2段階・エンドツーエンドの信頼度対応フュージョンネット(CaFNet)を提案する。 第1段階は、あいまいな標高やノイズ測定など、レーダー固有の課題に対処する。 最終深度推定のために、レーダと画像の特徴を効果的に統合するための信頼性を考慮したゲート融合機構を革新する。
  論文  参考訳（メタデータ） (2024-06-30T13:39:29Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale [21.09258172290667]
  本稿では, 単視点画像とスパース, ノイズの多いレーダー点雲の融合に基づく, 距離密度推定のための新しい手法を提案する。 提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-09T02:40:03Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection [12.557361522985898]
  本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。 本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
  論文  参考訳（メタデータ） (2022-10-17T17:18:47Z)
• RVMDE: Radar Validated Monocular Depth Estimation for Robotics [5.360594929347198]
  両眼視センサの固有剛性校正は正確な深度推定に不可欠である。 あるいは、単眼カメラは、深度推定の精度を犠牲にして制限を緩和し、厳しい環境条件下では課題が悪化する。 本研究は, 環境条件下での深度推定のために, 単眼カメラの細粒度データと融合した場合のレーダーからの粗い信号の有用性について検討する。
  論文  参考訳（メタデータ） (2021-09-11T12:02:29Z)
• R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes [69.6715406227469]
  駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。 本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
  論文  参考訳（メタデータ） (2021-08-10T17:57:03Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)
• Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
  本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。 レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。 実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
  論文  参考訳（メタデータ） (2020-09-30T19:01:33Z)
• RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
  我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。 我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
  論文  参考訳（メタデータ） (2020-07-28T17:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。