論文の概要: Repurposing RGB-based Foundation Model for Depth Estimation on Thermal Images Using Hierarchical Supervision

• arxiv url: http://arxiv.org/abs/2608.11564v1
• Date: Wed, 12 Aug 2026 02:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.415087
• Title: Repurposing RGB-based Foundation Model for Depth Estimation on Thermal Images Using Hierarchical Supervision
• Title（参考訳）: 階層的スーパービジョンを用いた熱画像の深度推定のためのRGBベースファンデーションモデルの再検討
• Abstract要約: 熱画像深度推定のための新しいフレームワークRGB-HSを提案する。 まず、ベースライン熱エンコーダを基本モデルに置き換え、同じアーキテクチャのエンコーダとして基礎モデルを用いる並列RGBブランチを導入する。 その後、アライメントは2つのエンコーダのトークン間の複数のレベルにわたって実行され、熱的学生ブランチは構造的精度と意味的抽象化の両方をキャプチャできる。
• 参考スコア（独自算出の注目度）: 10.953327007244882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation from thermal images is highly valuable for robotic applications in adverse conditions, such as nighttime and rainy weather. Recent studies have sought to transfer knowledge from RGB-based foundation models to thermal modalities, yet the rich hierarchical representations these models encode remain underutilized. To address this limitation, we propose RGB-HS, a novel framework for thermal-image depth estimation that leverages hierarchical supervision from an RGB-based foundation model. Specifically, we first replace the baseline thermal encoder with a foundational model and introduce a parallel RGB branch that also employs a foundational model as an encoder of the same architecture, taking RGB images as input. The alignment is then performed across multiple levels between the tokens of the two encoders, allowing the thermal student branch to capture both structural precision and semantic abstraction from the RGB teacher branch. Furthermore, we introduce verification to refine the alignment process by weighting tokens from the RGB branch based on RGB image quality. Extensive experiments on the popular benchmark demonstrate that RGB-HS achieves competitive performance and more effectively exploits the representational capacity of RGB-based foundation models for depth estimation on thermal images.
• Abstract（参考訳）: 熱画像からの深度推定は、夜間や雨天などの悪天候下でのロボット応用に非常に有用である。 近年の研究では、RGBベースの基礎モデルから熱モダリティへの知識の伝達が試みられているが、これらのモデルが符号化した豊富な階層表現は未利用のままである。 熱画像深度推定のための新しいフレームワークであるRGB-HSを提案する。 具体的には、まずベースライン熱エンコーダを基本モデルに置き換え、同じアーキテクチャのエンコーダとして基礎モデルを用いた並列RGBブランチを導入し、RGBイメージを入力とする。 次に、アライメントは2つのエンコーダのトークン間の複数のレベルにわたって実行され、熱的学生ブランチはRGB教師ブランチから構造的精度と意味的抽象化の両方をキャプチャできる。 さらに、RGB画像の品質に基づいて、RGBブランチからトークンを重み付けすることで、アライメントプロセスを洗練するための検証を導入する。 一般的なベンチマーク実験により,RGB-HSは競争性能を向上し,RGBベース基盤モデルの表現能力を利用して熱画像の深度推定を行うことができた。

関連論文リスト

• SEAR: Simple and Efficient Adaptation of Visual Geometric Transformers for RGB+Thermal 3D Reconstruction [28.61594700250136]
  本稿では,事前学習した幾何学変換器をマルチモーダルRGB-T入力に適応させる戦略であるSEARを提案する。 提案手法は,3次元再構成とカメラポーズ推定において,最先端の手法よりも優れていた。 大規模なアブレーション研究を通じてアーキテクチャを検証し、モデルが両方のモダリティをどのように整合させるかを示す。
  論文  参考訳（メタデータ） (2026-03-19T11:27:21Z)
• RAW-Flow: Advancing RGB-to-RAW Image Reconstruction with Deterministic Latent Flow Matching [55.03149221192589]
  本稿では,RGBとRAW表現のギャップを埋めるためにRAW-Flowという新しいフレームワークを提案する。 また、階層的なRGB機能をフロー推定プロセスに注入する、大規模コンテキストガイダンスモジュールも導入する。 RAW-Flowは、定量的にも視覚的にも最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2026-01-28T08:27:38Z)
• ThermalGen: Style-Disentangled Flow-Based Generative Models for RGB-to-Thermal Image Translation [14.108149959967095]
  ペアリングRGBサーマルデータは、視覚-サーマル・フュージョンとクロスモダリティ・タスクに不可欠である。 この課題を克服するため、RGB-to-Thermal (RGB-T)イメージ翻訳が有望なソリューションとして登場した。 本研究では,RGB-T画像変換のための適応型フローベース生成モデルであるHeatherGenを提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:55:51Z)
• UniRGB-IR: A Unified Framework for Visible-Infrared Semantic Tasks via Adapter Tuning [34.727262809777095]
  我々は、RGB-IRセマンティックタスクのためのスケーラブルで効率的なフレームワークUniRGB-IRを提案する。 本フレームワークは,視覚変換器(ViT)基礎モデル,マルチモーダル特徴プール(SFI)モジュール,補助特徴プール(SFI)モジュールの3つの主要コンポーネントから構成される。 各種RGB-IRセマンティックタスクの実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:21:57Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance [11.711656319221072]
  異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。 本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
  論文  参考訳（メタデータ） (2023-02-13T11:56:45Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。