論文の概要: Thermal Image Refinement with Depth Estimation using Recurrent Networks for Monocular ORB-SLAM3
- arxiv url: http://arxiv.org/abs/2603.14998v1
- Date: Mon, 16 Mar 2026 09:02:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 18:28:57.894249
- Title: Thermal Image Refinement with Depth Estimation using Recurrent Networks for Monocular ORB-SLAM3
- Title(参考訳): 単眼ORB-SLAM3用リカレントネットワークを用いた深度推定による熱画像再構成
- Authors: Hürkan Şahin, Huy Xuan Pham, Van Huyen Dang, Alper Yegenoglu, Erdal Kayacan,
- Abstract要約: 熱画像から深度情報を抽出するパイプラインを提案する。
このネットワークは、軽量な畳み込みバックボーンと熱精錬ネットワーク(T-RefNet)を組み合わせて生熱入力を精錬する。
改良された熱画像と予測深度マップはORB-SLAM3に統合され、熱のみの局在を可能にする。
- 参考スコア(独自算出の注目度): 1.4027589547318842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous navigation in GPS-denied and visually degraded environments remains challenging for unmanned aerial vehicles (UAVs). To this end, we investigate the use of a monocular thermal camera as a standalone sensor on a UAV platform for real-time depth estimation and simultaneous localization and mapping (SLAM). To extract depth information from thermal images, we propose a novel pipeline employing a lightweight supervised network with recurrent blocks (RBs) integrated to capture temporal dependencies, enabling more robust predictions. The network combines lightweight convolutional backbones with a thermal refinement network (T-RefNet) to refine raw thermal inputs and enhance feature visibility. The refined thermal images and predicted depth maps are integrated into ORB-SLAM3, enabling thermal-only localization. Unlike previous methods, the network is trained on a custom non-radiometric dataset, obviating the need for high-cost radiometric thermal cameras. Experimental results on datasets and UAV flights demonstrate competitive depth accuracy and robust SLAM performance under low-light conditions. On the radiometric VIVID++ (indoor-dark) dataset, our method achieves an absolute relative error of approximately 0.06, compared to baselines exceeding 0.11. In our non-radiometric indoor set, baseline errors remain above 0.24, whereas our approach remains below 0.10. Thermal-only ORB-SLAM3 maintains a mean trajectory error under 0.4 m.
- Abstract(参考訳): 無人航空機(UAV)では、GPSや視覚的に劣化した環境での自律航法は依然として困難である。
そこで本研究では,UAVプラットフォーム上での単眼サーマルカメラを用いたリアルタイム深度推定と同時位置推定とマッピング(SLAM)について検討した。
熱画像から深度情報を抽出するために,時間的依存を捉えるためにRB(recurrent block)が組み込まれ,より堅牢な予測が可能となる軽量教師付きネットワークを用いたパイプラインを提案する。
このネットワークは、軽量な畳み込みバックボーンと熱洗練されたネットワーク(T-RefNet)を組み合わせることで、生の熱入力を洗練し、特徴の可視性を高める。
改良された熱画像と予測深度マップはORB-SLAM3に統合され、熱のみの局在を可能にする。
従来の方法とは異なり、ネットワークはカスタムの非放射計データセットでトレーニングされており、高価な放射計熱カメラの必要性を回避している。
データセットとUAV飛行の実験結果は、低照度条件下での競争深度精度とロバストSLAM性能を示す。
ラジオメトリックVIVID++(室内暗黒)データセットでは, ベースラインが0.11を超えるのに対し, 絶対相対誤差は約0.06である。
我々の非放射計屋内セットでは、ベースライン誤差は0.24以下であり、我々のアプローチは0.10以下である。
熱のみのORB-SLAM3は平均軌道誤差を0.4m以下に維持する。
関連論文リスト
- Thegra: Graph-based SLAM for Thermal Imagery [38.940999341197355]
熱画像用単分子グラフベースSLAMシステムを提案する。
提案システムは,データセット固有のトレーニングや所望の特徴検出器の微調整を必要とせず,信頼性の高い性能を実現する。
論文 参考訳(メタデータ) (2026-02-09T11:29:42Z) - TacoDepth: Towards Efficient Radar-Camera Depth Estimation with One-stage Fusion [54.46664104437454]
一段核融合を用いた効率的かつ正確なレーダ・カメラ深度推定モデルであるTacoDepthを提案する。
具体的には、グラフベースのRadar構造抽出器とピラミッドベースのRadar融合モジュールを設計する。
従来の最先端のアプローチと比較して、TacoDepthは深さ精度と処理速度を12.8%、91.8%改善している。
論文 参考訳(メタデータ) (2025-04-16T05:25:04Z) - RIDERS: Radar-Infrared Depth Estimation for Robust Sensing [22.10378524682712]
逆気象条件は正確な深度推定に重大な課題をもたらす。
本研究では,ミリ波レーダと単眼赤外線サーマルカメラを融合させて,ロバストな距離推定手法を提案する。
本手法は、曖昧さと不一致の課題に対処することにより、異常な視覚的品質と正確な計量推定を実現する。
論文 参考訳(メタデータ) (2024-02-03T07:14:43Z) - UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。
本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-19T16:26:25Z) - Transforming Observations of Ocean Temperature with a Deep Convolutional
Residual Regressive Neural Network [0.0]
海面温度(SST)は、地上の真理、リモートセンシング、ハイブリッドモデル手法を通じて測定できる、必須の気候変動である。
ここでは,20世紀後半から21世紀初頭にかけてのいくつかの技術進歩を応用して,SST監視の進展を祝福する。
本研究では, AMSR-E と MODIS を高分解能に融合させるため, 既存の水循環観測フレームワークである Flux to Flow (F2F) を開発した。
我々のニューラルネットワークアーキテクチャは、深い畳み込み残留回帰ニューラルネットワークに制約されている。
論文 参考訳(メタデータ) (2023-06-16T17:35:11Z) - Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using
Meta-Learning [64.92447072894055]
赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。
既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。
KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
論文 参考訳(メタデータ) (2021-10-07T02:28:18Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Graph-based Thermal-Inertial SLAM with Probabilistic Neural Networks [38.35547654117047]
SLAMフロントエンドのニューラルネットワーク抽象化とSLAMバックエンドの堅牢なポーズグラフ最適化を組み合わせた,最初の完全熱慣性SLAMシステムを提案する。
熱画像からこのエンコーディングをモデル化するのに重要な戦略は、正規化された14ビットラジオメトリックデータの使用、幻覚視覚(RGB)機能の組み込み、MDNパラメータを推定するための特徴選択の包含です。
論文 参考訳(メタデータ) (2021-04-15T01:39:15Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳(メタデータ) (2020-09-30T19:01:33Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳(メタデータ) (2020-07-14T04:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。