論文の概要: Deep Depth Estimation from Thermal Image: Dataset, Benchmark, and Challenges

• arxiv url: http://arxiv.org/abs/2503.22060v1
• Date: Fri, 28 Mar 2025 00:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:26.712042
• Title: Deep Depth Estimation from Thermal Image: Dataset, Benchmark, and Challenges
• Title（参考訳）: 熱画像からの深度推定:データセット,ベンチマーク,課題
• Authors: Ukcheol Shin, Jinsun Park,
• Abstract要約: この原稿は、ステレオRGB、ステレオNIR、ステレオサーマル、ステレオLiDARデータ、半密度深度基底真理からなる大規模なマルチスペクトルステレオ(MS$2$)データセットを提供する。 MS$2$データセットには、さまざまな場所でキャプチャされた162Kの同期マルチモーダルデータペアが含まれている。
• 参考スコア（独自算出の注目度）: 5.946838062187346
• License:
• Abstract: Achieving robust and accurate spatial perception under adverse weather and lighting conditions is crucial for the high-level autonomy of self-driving vehicles and robots. However, existing perception algorithms relying on the visible spectrum are highly affected by weather and lighting conditions. A long-wave infrared camera (i.e., thermal imaging camera) can be a potential solution to achieve high-level robustness. However, the absence of large-scale datasets and standardized benchmarks remains a significant bottleneck to progress in active research for robust visual perception from thermal images. To this end, this manuscript provides a large-scale Multi-Spectral Stereo (MS$^2$) dataset that consists of stereo RGB, stereo NIR, stereo thermal, stereo LiDAR data, and GNSS/IMU information along with semi-dense depth ground truth. MS$^2$ dataset includes 162K synchronized multi-modal data pairs captured across diverse locations (e.g., urban city, residential area, campus, and high-way road) at different times (e.g., morning, daytime, and nighttime) and under various weather conditions (e.g., clear-sky, cloudy, and rainy). Secondly, we conduct a thorough evaluation of monocular and stereo depth estimation networks across RGB, NIR, and thermal modalities to establish standardized benchmark results on MS$^2$ depth test sets (e.g., day, night, and rainy). Lastly, we provide in-depth analyses and discuss the challenges revealed by the benchmark results, such as the performance variability for each modality under adverse conditions, domain shift between different sensor modalities, and potential research direction for thermal perception. Our dataset and source code are publicly available at https://sites.google.com/view/multi-spectral-stereo-dataset and https://github.com/UkcheolShin/SupDepth4Thermal.
• Abstract（参考訳）: 悪天候や照明条件下での堅牢で正確な空間認識を達成することは、自動運転車やロボットの高度自律性にとって不可欠である。 しかし、可視光スペクトルに依存する既存の知覚アルゴリズムは、天候や照明条件に大きく影響を受ける。 長波長赤外線カメラ(すなわちサーマルイメージングカメラ)は、高レベルの堅牢性を実現するための潜在的な解決策となる。 しかし、大規模なデータセットや標準化されたベンチマークが存在しないことは、熱画像からの堅牢な視覚知覚のための活発な研究の進展に重要なボトルネックとなっている。 この目的のために本写本は, ステレオRGB, ステレオNIR, ステレオサーマル, ステレオLiDARデータ, GNSS/IMU情報からなる大規模マルチスペクトルステレオ(MS$^2$)データセットを提供する。 MS$^2$データセットは、様々な場所(例えば、都市、住宅地、キャンパス、ハイウェイロード)、および様々な気象条件(例えば、クリアスキー、曇り、雨)で収集された162Kの同期マルチモーダルデータペアを含む。 次に,RGB,NIR,サーマルモダリティにまたがる単分子・立体深度推定ネットワークを徹底的に評価し,MS$^2$深度テストセット(例えば,日,夜,雨)の標準ベンチマーク結果を確立する。 最後に, 評価結果から得られた問題点を詳細に分析し, 悪条件下における各モードの性能変動性, センサモード間の領域シフト, 熱知覚の潜在的研究方向などについて考察する。 私たちのデータセットとソースコードはhttps://sites.google.com/view/multi-spectral-stereo-datasetとhttps://github.com/UkcheolShin/SupDepth4Thermalで公開されています。

関連論文リスト

• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• FIReStereo: Forest InfraRed Stereo Dataset for UAS Depth Perception in Visually Degraded Environments [11.865960842220629]
  本稿では,自律型空中認識のための立体熱深度認識データセットを提案する。 このデータセットは、都市や森林で撮影されたステレオ熱画像、LiDAR、IMU、地上の真理深度マップで構成されている。 代表的なステレオ深度推定アルゴリズムをベンチマークし, 劣化条件下での性能について考察した。
  論文  参考訳（メタデータ） (2024-09-12T02:51:21Z)
• DIDLM: A SLAM Dataset for Difficult Scenarios Featuring Infrared, Depth Cameras, LIDAR, 4D Radar, and Others under Adverse Weather, Low Light Conditions, and Rough Roads [20.600516423425688]
  積雪天候,雨天,夜間条件,スピードバンプ,荒地など,困難なシナリオをカバーするマルチセンサデータセットを提案する。 このデータセットには、4Dミリ波レーダー、赤外線カメラ、深度カメラなどの極端な状況に利用されないセンサーと、3D LiDAR、RGBカメラ、GPS、IMUが含まれる。 自律走行と地上ロボットの両方のアプリケーションをサポートし、構造化された地形と半構造化された地形をカバーする信頼性の高いGPS/INS地上真実データを提供する。
  論文  参考訳（メタデータ） (2024-04-15T09:49:33Z)
• Caltech Aerial RGB-Thermal Dataset in the Wild [14.699908177967181]
  本稿では,自然環境下での航空ロボットのためのRGB熱水モデルについて紹介する。 私たちのデータセットは、川、湖、海岸線、砂漠、森林など、米国中のさまざまな地形を捉えています。 自然設定でよく見られる10のクラスに対してセマンティックセグメンテーションアノテーションを提供する。
  論文  参考訳（メタデータ） (2024-03-13T23:31:04Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras [33.77748026254935]
  クロススペクトル深度推定は、対のデュアルスペクトル画像を用いて、すべての照明条件で深度マップを提供することを目的としている。 本稿では,教師なし可視光画像ガイド型クロススペクトル(熱・可視光,略してTIR-VIS)の奥行き推定フレームワークを提案する。 提案手法は,既存手法と比較して性能が向上する。
  論文  参考訳（メタデータ） (2022-04-30T12:58:35Z)
• Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
  本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。 本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。 さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
  論文  参考訳（メタデータ） (2022-04-08T15:22:33Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• RGB-D Salient Object Detection: A Survey [195.83586883670358]
  様々な観点からRGB-Dに基づくSODモデルを総合的に調査する。 また、このドメインからSODモデルと人気のあるベンチマークデータセットもレビューします。 今後の研究に向けたRGB-DベースのSODの課題と方向性について論じる。
  論文  参考訳（メタデータ） (2020-08-01T10:01:32Z)
• Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
  ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。 我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。 私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
  論文  参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。