論文の概要: A Multi-scale Information Integration Framework for Infrared and Visible
Image Fusion
- arxiv url: http://arxiv.org/abs/2312.04328v1
- Date: Thu, 7 Dec 2023 14:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:43:57.301225
- Title: A Multi-scale Information Integration Framework for Infrared and Visible
Image Fusion
- Title（参考訳）: 赤外・可視画像融合のためのマルチスケール情報統合フレームワーク
- Authors: Guang Yang, Jie Li, Hanxiao Lei, Xinbo Gao
- Abstract要約: 赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。
既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。
近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 50.84746752058516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared and visible image fusion aims at generating a fused image containing
the intensity and detail information of source images, and the key issue is
effectively measuring and integrating the complementary information of
multi-modality images from the same scene. Existing methods mostly adopt a
simple weight in the loss function to decide the information retention of each
modality rather than adaptively measuring complementary information for
different image pairs. In this study, we propose a multi-scale dual attention
(MDA) framework for infrared and visible image fusion, which is designed to
measure and integrate complementary information in both structure and loss
function at the image and patch level. In our method, the residual downsample
block decomposes source images into three scales first. Then, dual attention
fusion block integrates complementary information and generates a spatial and
channel attention map at each scale for feature fusion. Finally, the output
image is reconstructed by the residual reconstruction block. Loss function
consists of image-level, feature-level and patch-level three parts, of which
the calculation of the image-level and patch-level two parts are based on the
weights generated by the complementary information measurement. Indeed, to
constrain the pixel intensity distribution between the output and infrared
image, a style loss is added. Our fusion results perform robust and informative
across different scenarios. Qualitative and quantitative results on two
datasets illustrate that our method is able to preserve both thermal radiation
and detailed information from two modalities and achieve comparable results
compared with the other state-of-the-art methods. Ablation experiments show the
effectiveness of our information integration architecture and adaptively
measure complementary information retention in the loss function.
- Abstract（参考訳）: 赤外線・可視画像融合は,光源画像の強度・詳細情報を含む融合画像の生成を目標とし,同一シーンからの多モード画像の補完情報を効果的に計測・統合することを目的としている。
既存の手法では、異なる画像対の補完的情報を適応的に測定するのではなく、各モダリティの情報保持を決定するために損失関数に単純な重みを課している。
本研究では,赤外線・可視画像融合のためのマルチスケール・デュアル・アテンション(mda)フレームワークを提案する。
本手法では,残差サンプルブロックはまずソース画像を3つのスケールに分解する。
そして、二重注意融合ブロックが相補的な情報を統合し、各スケールで空間及びチャネルの注意マップを生成して特徴融合を行う。
そして、残余復元ブロックにより出力画像が再構成される。
損失関数は、画像レベル、特徴レベル、パッチレベルの3つの部分から構成され、画像レベルとパッチレベルの2つの部分の計算は、補完的情報測定によって生成された重みに基づいて行われる。
実際、出力画像と赤外線画像の間の画素強度分布を制限するために、スタイル損失が加えられる。
私たちの融合の結果は、さまざまなシナリオで堅牢で情報に富んでいます。
2つのデータセットの質的および定量的な結果から,本手法は2つのモードからの熱放射と詳細情報を保存し,他の最先端手法と比較した結果が得られることを示す。
アブレーション実験は,情報統合アーキテクチャの有効性を示し,損失関数における補完的情報保持を適応的に測定する。
関連論文リスト
- DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion [10.713089596405053]
二相識別型オートエンコーダフレームワークであるDAE-Fuseは、シャープで自然な融合画像を生成する。
公共の赤外線可視、医用画像融合、下流オブジェクト検出データセットの実験は、我々の方法の優位性と一般化性を示している。
論文 参考訳（メタデータ） (2024-09-16T08:37:09Z) - A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。
本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。
可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
論文 参考訳（メタデータ） (2024-06-11T09:32:40Z) - Decomposition-based and Interference Perception for Infrared and Visible
Image Fusion in Complex Scenes [4.919706769234434]
本稿では,分解に基づく干渉知覚画像融合法を提案する。
可視画像の画素を光透過の散乱度から分類し,画像の細部とエネルギー情報を分離する。
この洗練された分解により、複雑なシーンにあるより干渉するピクセルを識別するモデルが提案される。
論文 参考訳（メタデータ） (2024-02-03T09:27:33Z) - A Dual Domain Multi-exposure Image Fusion Network based on the
Spatial-Frequency Integration [57.14745782076976]
マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。
本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。
提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
論文 参考訳（メタデータ） (2023-12-17T04:45:15Z) - Mutual Information-driven Triple Interaction Network for Efficient Image
Dehazing [54.168567276280505]
画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。
振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。
第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
論文 参考訳（メタデータ） (2023-08-14T08:23:58Z) - PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant
Semantic Segmentation [50.556961575275345]
対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。
我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2023-08-08T01:55:44Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - When Image Decomposition Meets Deep Learning: A Novel Infrared and
Visible Image Fusion Method [27.507158159317417]
赤外線と可視光の融合は画像処理と画像強調においてホットな話題である。
本稿では,新しいデュアルストリーム自動エンコーダを用いた核融合ネットワークを提案する。
論文 参考訳（メタデータ） (2020-09-02T19:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。