論文の概要: Unsupervised Depth and Ego-motion Estimation for Monocular Thermal Video using Multi-spectral Consistency Loss

• arxiv url: http://arxiv.org/abs/2103.00760v2
• Date: Wed, 3 Mar 2021 02:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 08:29:06.601560
• Title: Unsupervised Depth and Ego-motion Estimation for Monocular Thermal Video using Multi-spectral Consistency Loss
• Title（参考訳）: multi-spectral consistency loss を用いた単眼熱ビデオの教師なし深度とエゴモーション推定
• Authors: Ukcheol Shin, Kyunghyun Lee, Seokju Lee, In So Kweon
• Abstract要約: 本研究では,全日深度とエゴモーション推定のための教師なし学習手法を提案する。 提案手法はマルチスペクトル整合性損失を利用してネットワークを補完的に監視する。 提案手法で訓練されたネットワークは、低照度およびゼロ照度条件下での単眼熱ビデオの深度とポーズを堅牢に推定する。
• 参考スコア（独自算出の注目度）: 76.77673212431152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most of the deep-learning based depth and ego-motion networks have been designed for visible cameras. However, visible cameras heavily rely on the presence of an external light source. Therefore, it is challenging to use them under low-light conditions such as night scenes, tunnels, and other harsh conditions. A thermal camera is one solution to compensate for this problem because it detects Long Wave Infrared Radiation(LWIR) regardless of any external light sources. However, despite this advantage, both depth and ego-motion estimation research for the thermal camera are not actively explored until so far. In this paper, we propose an unsupervised learning method for the all-day depth and ego-motion estimation. The proposed method exploits multi-spectral consistency loss to gives complementary supervision for the networks by reconstructing visible and thermal images with the depth and pose estimated from thermal images. The networks trained with the proposed method robustly estimate the depth and pose from monocular thermal video under low-light and even zero-light conditions. To the best of our knowledge, this is the first work to simultaneously estimate both depth and ego-motion from the monocular thermal video in an unsupervised manner.
• Abstract（参考訳）: ディープラーニングベースの深度とエゴモーションネットワークのほとんどは、可視カメラ用に設計されています。 しかし、可視カメラは外部光源の存在に大きく依存しています。 したがって、夜間のシーンやトンネル、その他の過酷な条件などの低照度条件下での使用は困難です。 熱カメラは、外部光源によらずLWIR(Long Wave Infrared Radiation)を検出するため、この問題を補うための解決策の1つである。 しかし、この利点にもかかわらず、熱カメラの深度とエゴモーション推定の研究は、これまでのところ活発に行われていない。 本稿では,全日深度とエゴモーション推定のための教師なし学習手法を提案する。 提案手法はマルチスペクトル整合性損失を利用して、熱画像から推定した深度で可視・熱画像の再構成を行い、ネットワークの相補的な監視を行う。 提案手法で訓練されたネットワークは、低照度およびゼロ照度条件下での単眼熱ビデオの深度とポーズを堅牢に推定する。 我々の知る限りでは、これは単眼サーマルビデオからの深度とエゴモーションの両方を教師なしで同時に推定する最初の試みである。

関連論文リスト

• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
  逆気象条件は正確な深度推定に重大な課題をもたらす。 本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。 本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
  論文  参考訳（メタデータ） (2024-02-03T07:14:43Z)
• Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras [33.77748026254935]
  クロススペクトル深度推定は、対のデュアルスペクトル画像を用いて、すべての照明条件で深度マップを提供することを目的としている。 本稿では,教師なし可視光画像ガイド型クロススペクトル(熱・可視光,略してTIR-VIS)の奥行き推定フレームワークを提案する。 提案手法は,既存手法と比較して性能が向上する。
  論文  参考訳（メタデータ） (2022-04-30T12:58:35Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion [78.19156040783061]
  熱画像からの深度とエゴモーションの自己教師付き学習は、困難なシナリオ下で強い堅牢性と信頼性を示す。 弱いコントラスト、ぼやけたエッジ、ノイズなどの固有の熱画像特性は、熱画像から効果的な自己スーパービジョンを生成するために障害となる。 本研究では,時間的一貫性を維持しつつ,全体構造,コントラスト,詳細などの画像情報を大幅に向上させる有効熱画像マッピング手法を提案する。
  論文  参考訳（メタデータ） (2022-01-12T09:49:24Z)
• Full Surround Monodepth from Multiple Cameras [31.145598985137468]
  自己監督単眼深度と自我運動推定を大型フォトベースラインマルチカメラリグに拡張します。 私たちは、典型的なLiDARスキャナーと同じ全周360度の視野をカバーする、高密度で一貫性のあるスケールアウェアポイントクラウドを生成する単一のネットワークを学びます。
  論文  参考訳（メタデータ） (2021-03-31T22:52:04Z)
• Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences [6.821598757786515]
  LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。 深層学習に基づく自己教師付き深度推定法は有望な結果を示した。 未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-28T21:53:53Z)
• DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth and Ego-motion from Monocular Videos [9.255509741319583]
  本稿では,光度誤差を慎重に操作することで,これらの問題に対処できることを示す。 主な改善は、測光誤差マップ内の見えないまたは静止しないピクセルを隠蔽する統計技術によって達成される。 また,予測深度マップのアーティファクトを削減するために,効率的な重み付きマルチスケールスキームを提案する。
  論文  参考訳（メタデータ） (2020-03-03T07:05:15Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。