論文の概要: All-day Depth Completion via Thermal-LiDAR Fusion

• arxiv url: http://arxiv.org/abs/2504.02356v1
• Date: Thu, 03 Apr 2025 07:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:55:19.737407
• Title: All-day Depth Completion via Thermal-LiDAR Fusion
• Title（参考訳）: 熱LiDAR核融合による全日深度完了
• Authors: Janghyun Kim, Minseong Kweon, Jinsun Park, Ukcheol Shin,
• Abstract要約: 種々の照明条件における熱-LiDAR深度補完の実現可能性と堅牢性について検討した。 深度境界の明瞭度を高めるために,Contrastive Learning と Pseudo-Supervision (COPS) を利用するフレームワークを提案する。 また,この課題の理解と今後の研究を促進するために,熱-LiDAR深度完了における重要な課題を詳細に分析する。
• 参考スコア（独自算出の注目度）: 10.853764732047278
• License:
• Abstract: Depth completion, which estimates dense depth from sparse LiDAR and RGB images, has demonstrated outstanding performance in well-lit conditions. However, due to the limitations of RGB sensors, existing methods often struggle to achieve reliable performance in harsh environments, such as heavy rain and low-light conditions. Furthermore, we observe that ground truth depth maps often suffer from large missing measurements in adverse weather conditions such as heavy rain, leading to insufficient supervision. In contrast, thermal cameras are known for providing clear and reliable visibility in such conditions, yet research on thermal-LiDAR depth completion remains underexplored. Moreover, the characteristics of thermal images, such as blurriness, low contrast, and noise, bring unclear depth boundary problems. To address these challenges, we first evaluate the feasibility and robustness of thermal-LiDAR depth completion across diverse lighting (eg., well-lit, low-light), weather (eg., clear-sky, rainy), and environment (eg., indoor, outdoor) conditions, by conducting extensive benchmarks on the MS$^2$ and ViViD datasets. In addition, we propose a framework that utilizes COntrastive learning and Pseudo-Supervision (COPS) to enhance depth boundary clarity and improve completion accuracy by leveraging a depth foundation model in two key ways. First, COPS enforces a depth-aware contrastive loss between different depth points by mining positive and negative samples using a monocular depth foundation model to sharpen depth boundaries. Second, it mitigates the issue of incomplete supervision from ground truth depth maps by leveraging foundation model predictions as dense depth priors. We also provide in-depth analyses of the key challenges in thermal-LiDAR depth completion to aid in understanding the task and encourage future research.
• Abstract（参考訳）: 粗いLiDARおよびRGB画像から奥行き深度を推定する深度補完法は、良質な条件下で優れた性能を示した。 しかし、RGBセンサーの限界のため、雨量や低照度などの厳しい環境下では、既存の手法は信頼性の高い性能を達成するのに苦慮することが多い。 さらに,大雨などの悪天候条件下では,地上の真理深度マップが大きな損失を被ることが多く,監視が不十分であることも確認した。 対照的に、熱カメラはそのような条件下で明瞭で信頼性の高い視認性を提供することで知られているが、熱-LiDAR深度完了の研究はいまだに未調査である。 さらに、ブラーリネス、低コントラスト、ノイズなどの熱画像の特徴は、不明瞭な深さ境界問題をもたらす。 これらの課題に対処するために、まず、MS$2$およびViViDデータセット上で広範囲なベンチマークを行い、様々な照明(例えば、明るい光、低い光)、天気(例えば、クリアスキー、雨)、環境(例えば、屋内、屋外)における熱-LiDAR深度補完の実現可能性と堅牢性を評価した。 さらに, 深度境界の明瞭度を高め, 深度基礎モデルを2つの重要な方法で活用することにより, 深度境界の明確化と完成精度の向上を図るために, Contrastive Learning and Pseudo-Supervision (COPS) を利用したフレームワークを提案する。 第一に、COPSは、単分子深度基礎モデルを用いて正および負のサンプルをマイニングすることにより、異なる深度点間での深度認識の対照的な損失を強制し、深度境界を鋭くする。 第2に、基礎モデル予測を深度深度深度予測として活用することにより、地底真理深度マップから不完全な監視問題を緩和する。 また,その課題を理解し,今後の研究を促進するために,熱-LiDAR深度完了における重要な課題を詳細に分析する。

関連論文リスト

• Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [51.69876947593144]
  奥行き完了のための既存の手法は、厳密に制約された設定で動作する。 単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。 Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
  論文  参考訳（メタデータ） (2024-12-18T00:06:41Z)
• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• Transparent Object Depth Completion [11.825680661429825]
  理解と操作のための透明な物体の認識は、依然として大きな課題である。 深度マップに大きく依存する既存のロボットグリップ法は、その独特の視覚特性のために透明な物体には適さない。 本稿では,一視点RGB-Dに基づく深度推定と多視点深度推定の長所を組み合わせた,透明物体深度補完のためのエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:38:06Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
  逆気象条件は正確な深度推定に重大な課題をもたらす。 本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。 本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
  論文  参考訳（メタデータ） (2024-02-03T07:14:43Z)
• RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
  本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。 RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。 第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。 もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
  論文  参考訳（メタデータ） (2023-06-06T11:03:05Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data [73.9872931307401]
  単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。 提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。 実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-09-23T18:04:12Z)
• Unsupervised Depth and Ego-motion Estimation for Monocular Thermal Video using Multi-spectral Consistency Loss [76.77673212431152]
  本研究では,全日深度とエゴモーション推定のための教師なし学習手法を提案する。 提案手法はマルチスペクトル整合性損失を利用してネットワークを補完的に監視する。 提案手法で訓練されたネットワークは、低照度およびゼロ照度条件下での単眼熱ビデオの深度とポーズを堅牢に推定する。
  論文  参考訳（メタデータ） (2021-03-01T05:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。