論文の概要: 3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion
- arxiv url: http://arxiv.org/abs/2511.19117v1
- Date: Mon, 24 Nov 2025 13:48:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.226237
- Title: 3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion
- Title(参考訳): 3M-TI:キャリブレーションフリー多カメラクロスモード拡散による高画質移動体熱イメージング
- Authors: Minchong Chen, Xiaoyun Yuan, Junzhe Wan, Jianing Zhang, Jun Zhang,
- Abstract要約: 3M-TIは、移動体熱画像のためのキャリブレーションフリーマルチカメラ・クロスモダリティ拡散フレームワークである。
中心となる3M-TIは、拡散UNetにクロスモーダル自己アテンションモジュール(CSM)を統合する。
この設計により、拡散ネットワークは、超解熱画像における空間分解能、構造忠実度、テクスチャディテールを高めるために、その生成性を利用することができる。
- 参考スコア(独自算出の注目度): 10.271921954105805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The miniaturization of thermal sensors for mobile platforms inherently limits their spatial resolution and textural fidelity, leading to blurry and less informative images. Existing thermal super-resolution (SR) methods can be grouped into single-image and RGB-guided approaches: the former struggles to recover fine structures from limited information, while the latter relies on accurate and laborious cross-camera calibration, which hinders practical deployment and robustness. Here, we propose 3M-TI, a calibration-free Multi-camera cross-Modality diffusion framework for Mobile Thermal Imaging. At its core, 3M-TI integrates a cross-modal self-attention module (CSM) into the diffusion UNet, replacing the original self-attention layers to adaptively align thermal and RGB features throughout the denoising process, without requiring explicit camera calibration. This design enables the diffusion network to leverage its generative prior to enhance spatial resolution, structural fidelity, and texture detail in the super-resolved thermal images. Extensive evaluations on real-world mobile thermal cameras and public benchmarks validate our superior performance, achieving state-of-the-art results in both visual quality and quantitative metrics. More importantly, the thermal images enhanced by 3M-TI lead to substantial gains in critical downstream tasks like object detection and segmentation, underscoring its practical value for robust mobile thermal perception systems. More materials: https://github.com/work-submit/3MTI.
- Abstract(参考訳): 移動プラットフォーム用サーマルセンサーの小型化は、本質的にその空間分解能とテクスチュラルな忠実さを制限し、ぼやけた、情報に乏しい画像を生み出す。
既存の熱超解像法(SR)は、単一のイメージとRGB誘導のアプローチに分類することができる: 前者は限られた情報から微細構造を復元するのに苦労し、後者は、実用的な展開とロバスト性を妨げる、正確で精巧なクロスカメラキャリブレーションに依存している。
そこで本研究では,移動体熱画像のためのキャリブレーションフリーマルチカメラ・クロスモダリティ拡散フレームワークである3M-TIを提案する。
コアとなる3M-TIは、クロスモーダルな自己保持モジュール(CSM)を拡散UNetに統合し、オリジナルの自己認識層を置き換えることで、明示的なカメラキャリブレーションを必要とせず、デノナイジングプロセスを通して熱とRGBの機能を適応的に調整する。
この設計により、拡散ネットワークは、超解熱画像における空間分解能、構造忠実度、テクスチャディテールを高めるために、その生成性を利用することができる。
実世界の移動体熱カメラと公開ベンチマークによる広範囲な評価は、我々の優れた性能を立証し、最先端の結果を視覚的品質と定量的指標の両方で達成する。
さらに重要なことに、3M-TIによって強化された熱画像は、物体の検出やセグメンテーションといった重要な下流のタスクを著しく増加させ、ロバストな移動体熱認識システムに対する実用的価値を強調している。
さらなる資料:https://github.com/work-submit/3MTI。
関連論文リスト
- Enhancing Infrared Vision: Progressive Prompt Fusion Network and Benchmark [58.61079960074608]
既存の赤外線画像強調法は、個々の劣化に対処することに焦点を当てている。
一般的にRGBセンサーに適用されるオールインワンエンハンスメント法は、有効性が制限されることが多い。
論文 参考訳(メタデータ) (2025-10-10T12:55:54Z) - Diffusion Models Without Attention [110.5623058129782]
Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。
拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
論文 参考訳(メタデータ) (2023-11-30T05:15:35Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Photometric Correction for Infrared Sensors [1.170732359523702]
本稿では,温度安定度に基づく赤外線センサの光度補正モデルを提案する。
実験の結果,補正した赤外線画像の再現性は,RGBセンサを用いた最先端の再現性に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-04-08T06:32:57Z) - CoReFusion: Contrastive Regularized Fusion for Guided Thermal
Super-Resolution [0.0]
超解像法は、低コストで低解像度の熱センサーを用いて、高精度な高解像度熱画像の再現を行うことができる。
熱画像のガイド超解像のための新しいデータ融合フレームワークと正規化手法を提案する。
論文 参考訳(メタデータ) (2023-04-03T14:21:41Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳(メタデータ) (2022-10-09T13:50:12Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - Boosting Image Super-Resolution Via Fusion of Complementary Information
Captured by Multi-Modal Sensors [21.264746234523678]
イメージスーパーレゾリューション(sr)は、低解像度光センサの画質を向上させる有望な技術である。
本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。
論文 参考訳(メタデータ) (2020-12-07T02:15:28Z) - Exploring Thermal Images for Object Detection in Underexposure Regions
for Autonomous Driving [67.69430435482127]
アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。
サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。
本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-01T09:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。