論文の概要: A Conditional U-Net Pipeline with Pre- and Post-Processing for Aerial RGB-to-Thermal Image Translation

• arxiv url: http://arxiv.org/abs/2605.17564v1
• Date: Sun, 17 May 2026 17:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.20409
• Title: A Conditional U-Net Pipeline with Pre- and Post-Processing for Aerial RGB-to-Thermal Image Translation
• Title（参考訳）: エアリアルRGB-サーマル画像変換のための前・後処理付き条件付きU-Netパイプライン
• Authors: Tseten Sherpa, Sikandar Ali, Shubham Parab, Haoyun Feng, Matthew Dennis, Keenan Gibbons, Verrah Otiende, Geoffrey H. Siwo,
• Abstract要約: 本稿では,気象データをボトルネック層に組み込んだ条件付きU-Netを提案する。 我々は、612対のRGBと熱画像のトレーニングセットを使用し、5倍以上のクロスバリデーションを評価し、最終的にホールドアウトテストセットでテストする。 条件付きU-Netモデルは,ピーク信号対雑音比14.5485,構造類似度指標(SSIM)0.8095,知覚的画像パッチ類似度(LPIPS)0.1666で最高の性能を示した。
• 参考スコア（独自算出の注目度）: 0.21964656111848832
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Paired RGB-thermal data has shown significant utility across a range of applications, including image fusion, object tracking, and anomaly detection; however, its broader adoption is constrained by the limited availability of aligned RGB-thermal image pairs. RGB-to-thermal (and vice versa) image translation has emerged as a practical solution to this challenge. Prior approaches including conditional generative adversarial networks (cGANs) such as ThermalGAN and Scalable Interpolant Transformer (SiT)-based architectures such as ThermalGen have demonstrated strong potential for aerial-to-thermal image translation. In this work, we explore alternative architectures that prioritize simplicity while maintaining performance. Specifically, we propose a conditional U-Net that incorporates weather data at the bottleneck layer, complemented by targeted preprocessing and post-processing techniques applied within the Pix2Pix GAN architecture. We utilize a training set of 612 paired RGB and thermal images, and evaluate over 5-fold cross-validation, ultimately testing on a held-out test set. Our conditional U-Net model performed best, with a peak signal-to-noise ratio (PSNR) of 14.5485, structural similarity index measure (SSIM) of 0.8095, and learned perceptual image patch similarity (LPIPS) of 0.1666. These results outperformed the base ThermalGen model, which attained PSNR, SSIM, and LPIPS scores of 7.56, 0.2444, and 0.6317 respectively. We find that while saturation boost and contrast enhancement for preprocessing and Gaussian blur for post-processing provide observable improvements, the incorporation of conditioning data was most effective. Our findings cement the potential of integrating auxiliary metadata into thermal image generation, suggesting that such information can serve as a proxy for environmental conditions critical to accurate thermal reconstruction.
• Abstract（参考訳）: ペアリングされたRGBサーマルデータは、画像融合、オブジェクト追跡、異常検出など、さまざまなアプリケーションにおいて大きな有用性を示しているが、その広範な採用は、整列されたRGBサーマルイメージペアの可用性の制限によって制限されている。 RGB-to-thermal(およびその逆)画像翻訳がこの課題の実用的な解決策として登場した。 ThermalGAN や Scalable Interpolant Transformer (SiT) のような条件付き生成逆数ネットワーク (cGAN) を含む以前のアプローチは、空中から熱画像への変換に強い可能性を示している。 この作業では、パフォーマンスを維持しながらシンプルさを優先する代替アーキテクチャを検討します。 具体的には、Pix2Pix GANアーキテクチャに適用されるターゲット前処理と後処理技術によって補完される、ボトルネック層に気象データを組み込んだ条件付きU-Netを提案する。 我々は、612対のRGBと熱画像のトレーニングセットを使用し、5倍以上のクロスバリデーションを評価し、最終的にテストセットを保留してテストする。 条件付きU-Netモデルは,ピーク信号対雑音比14.5485,構造類似度指標(SSIM)0.8095,知覚的画像パッチ類似度(LPIPS)0.1666で最高の性能を示した。 これらの結果は,PSNR,SSIM,LPIPSのスコアがそれぞれ7.56,0.2444,0.6317であった。 その結果, 前処理の飽和化とコントラスト向上, 後処理のガウス的曖昧化は観測可能な改善をもたらすが, 条件データの導入は最も効果的であった。 本研究は, 補助的メタデータを熱画像生成に組み込むことにより, 正確な熱再構成に不可欠な環境条件のプロキシとして機能する可能性が示唆された。

関連論文リスト

• Enhancing Infrared Vision: Progressive Prompt Fusion Network and Benchmark [58.61079960074608]
  既存の赤外線画像強調法は、個々の劣化に対処することに焦点を当てている。 一般的にRGBセンサーに適用されるオールインワンエンハンスメント法は、有効性が制限されることが多い。
  論文  参考訳（メタデータ） (2025-10-10T12:55:54Z)
• ThermalGen: Style-Disentangled Flow-Based Generative Models for RGB-to-Thermal Image Translation [14.108149959967095]
  ペアリングRGBサーマルデータは、視覚-サーマル・フュージョンとクロスモダリティ・タスクに不可欠である。 この課題を克服するため、RGB-to-Thermal (RGB-T)イメージ翻訳が有望なソリューションとして登場した。 本研究では,RGB-T画像変換のための適応型フローベース生成モデルであるHeatherGenを提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:55:51Z)
• ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields [5.66229031510643]
  熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。 既存の手法は通常、密集したシーン計測を必要とし、しばしばRGBの画像を3次元の幾何学的再構成に頼り、再建後の熱情報を投影する。 本研究では,新しいRGBとシーンの熱像を共同で描画するニューラルラジアンス場に基づく新しいアプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなる2つのRGB+熱画像のデータセットであるThermoScenesを提案する。
  論文  参考訳（メタデータ） (2024-03-18T18:10:34Z)
• Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
  表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。 これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。 TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-20T18:03:17Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using Meta-Learning [64.92447072894055]
  赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。 既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。 KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
  論文  参考訳（メタデータ） (2021-10-07T02:28:18Z)
• Robust pedestrian detection in thermal imagery using synthesized images [39.33977680993236]
  熱領域における歩行者検出を2段階に分けて改善する手法を提案する。 まず、生成データ拡張アプローチを使用し、次いで、生成されたデータを用いたドメイン適応法は、RGB歩行者検出器に適応する。 我々の検出器は,最先端技術に関して,KAIST上で最高の単一モダリティ検出結果を達成する。
  論文  参考訳（メタデータ） (2021-02-03T11:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。