論文の概要: NatureFusion: Rethinking Infrared and Visible Image Fusion as Natural Complementary Enhancement
- arxiv url: http://arxiv.org/abs/2611.01607v1
- Date: Sun, 01 Nov 2026 05:52:10 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:56:36.899716
- Title: NatureFusion: Rethinking Infrared and Visible Image Fusion as Natural Complementary Enhancement
- Title（参考訳）: 自然融合:赤外線と可視画像の融合を自然補完的拡張として再考する
- Abstract要約: 地上の真実がなければ、既存の赤外線および可視画像融合法は2つの物理的に異なるモダリティを重畳する。
本研究では,モーダルな補完的手がかりを利用して,透明で自然な視覚的イメージを推測するNatureFusionを提案する。
本研究では,NatureFusionが視覚的に自然に融合した画像を最高の知覚品質で生成することを示す。
- 参考スコア（独自算出の注目度）: 40.155521676772636
- License:
- Abstract: In the absence of ground truth, most existing infrared and visible image fusion methods pursue fidelity to the source images and directly superimpose two physically distinct modalities. As a result, salient infrared targets appear as bright patches of thermal radiation pasted onto the scene. These patches obscure the original color and texture of the targets, so the fused images look unnatural to human observers and deviate from the data distribution learned by vision models pretrained on visible images. Therefore, we redefine infrared and visible image fusion as natural complementary enhancement rather than source fidelity, and propose NatureFusion, which exploits cross-modal complementary cues to infer a clear and natural visible-style image from low-quality visible and infrared image pairs. Specifically, to address the lack of ground truth, we employ a generative foundation model as the teacher to directly generate visually natural fused images for supervision. Furthermore, to fully distill the teacher's generative capability while reducing computational cost, we fine-tune a pretrained generative model with conditional flow matching through a light-weight fusion adapter. Last but not least, to further improve downstream performance without sacrificing natural appearance, we freeze the fusion adapter and introduce a detector-supervised task adapter that strengthens the complementary contribution of infrared. Extensive comparisons with seven multi-modal fusion and seven single-modality enhancement methods demonstrate that NatureFusion generates visually natural fused images with the best perceptual quality. Detection and segmentation models pretrained on visible images achieve substantially higher accuracy on our fused images than on those of any competing method.
- Abstract（参考訳）: 地上の真実がなければ、既存の赤外線と可視画像の融合法は、ソース画像への忠実さを追求し、2つの物理的に異なるモダリティを直接重畳する。
その結果、鮮やかな赤外線標的が、現場に貼り付けられた熱放射の鮮やかなパッチとして現れる。
これらのパッチはターゲットの原色やテクスチャを曖昧にするため、融合した画像は人間の観察者にとって不自然に見え、視覚モデルによって学習されたデータ分布から逸脱する。
そこで我々は、光源の忠実さよりも自然な補完効果として、赤外および可視画像融合を再定義し、低品質の可視画像と赤外画像のペアから透明で自然な可視像を推測するために、相互に相補的な手がかりを利用するNatureFusionを提案する。
具体的には、基礎的真実の欠如に対処するために、教師が視覚的に自然に融合した画像を直接生成して監督する生成基盤モデルを用いる。
さらに, 計算コストを低減しつつ, 教師の生成能力を十分に再現するために, 軽量核融合アダプタを用いて, 条件付きフローマッチングによる事前学習生成モデルを微調整する。
最後に、自然の外観を犠牲にすることなく下流性能をさらに向上させるために、融合アダプタを凍結し、赤外線の補完的寄与を強化する検出器制御タスクアダプタを導入する。
7つのマルチモーダル融合と7つの単一モーダルエンハンスメント法との大規模な比較により、NatureFusionは視覚的に自然に融合した画像を最高の知覚品質で生成することを示した。
可視画像上で事前訓練された検出とセグメンテーションモデルは、競合するどの手法よりもかなり精度が高い。
関連論文リスト
- EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion [31.371511441847577]
EPOFusion(エポフュージョン)は、赤外線および可視光融合モデルである。
オーバー露光領域から微細な赤外線特徴を抽出する際のエンコーダを容易にするための誘導モジュールが導入された。
マルチスケールのコンテキスト融合モジュールを組み込んだ反復デコーダは、融合した画像を徐々に強化するように設計されている。
より優れた露光認識を実現するために、最初の赤外線および可視光過剰露光データセットを構築した。
論文 参考訳（メタデータ） (2026-03-17T05:34:00Z) - SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。
このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。
SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
論文 参考訳（メタデータ） (2025-08-07T10:58:52Z) - Infrared and Visible Image Fusion Based on Implicit Neural Representations [3.8530055385287403]
赤外線と可視光画像融合は、両モードの強度を組み合わせることで、情報に富む画像を生成することを目的としている。
Inlicit Neural Representations (INR) に基づく画像融合手法を提案する。
実験の結果,INRFuseは主観的視覚的品質と客観的評価指標の両方において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2025-06-20T06:34:19Z) - DFVO: Learning Darkness-free Visible and Infrared Image Disentanglement and Fusion All at Once [57.15043822199561]
可視・赤外画像のアンタングル化と融合を同時に行うためのダークネスフリーネットワーク(DFVO)を提案する。
DFVOは、従来の2段階のカスケードトレーニング(エンハンスメントと融合)を置き換えるために、ケースケードマルチタスクアプローチを採用している
提案手法は,定性的および定量的評価の観点から,最先端の代替品よりも優れている。
論文 参考訳（メタデータ） (2025-05-07T15:59:45Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Infrared and Visible Image Fusion via Interactive Compensatory Attention
Adversarial Learning [7.995162257955025]
本稿では, 融合バランスを改善するために, 生成的対角訓練に基づく新しいエンド・ツー・エンド・モードを提案する。
特にジェネレータでは、トリプルパスを持つマルチレベルエンコーダデコーダネットワークを構築し、赤外線および可視経路を採用し、さらなる強度と情報勾配を提供する。
さらに、二重判別器は、融合した結果とソース画像の類似した分布を特定するように設計されており、生成器はよりバランスの取れた結果を生成するように最適化されている。
論文 参考訳（メタデータ） (2022-03-29T08:28:14Z) - Bayesian Fusion for Infrared and Visible Images [26.64101343489016]
本稿では,赤外・可視画像のための新しいベイズ融合モデルを構築した。
我々は、融合画像が人間の視覚系を満たすようにすることを目指している。
従来の手法と比較して、新しいモデルは、高照度なターゲットとリッチテクスチャの詳細を持つより良い融合画像を生成することができる。
論文 参考訳（メタデータ） (2020-05-12T14:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。