論文の概要: A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2312.04328v2
• Date: Wed, 20 Nov 2024 09:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:44.718821
• Title: A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion
• Title（参考訳）: 赤外・可視画像融合のためのマルチスケール情報統合フレームワーク
• Authors: Guang Yang, Jie Li, Hanxiao Lei, Xinbo Gao,
• Abstract要約: 赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 46.545365049713105
• License:
• Abstract: Infrared and visible image fusion aims at generating a fused image containing the intensity and detail information of source images, and the key issue is effectively measuring and integrating the complementary information of multi-modality images from the same scene. Existing methods mostly adopt a simple weight in the loss function to decide the information retention of each modality rather than adaptively measuring complementary information for different image pairs. In this study, we propose a multi-scale dual attention (MDA) framework for infrared and visible image fusion, which is designed to measure and integrate complementary information in both structure and loss function at the image and patch level. In our method, the residual downsample block decomposes source images into three scales first. Then, dual attention fusion block integrates complementary information and generates a spatial and channel attention map at each scale for feature fusion. Finally, the output image is reconstructed by the residual reconstruction block. Loss function consists of image-level, feature-level and patch-level three parts, of which the calculation of the image-level and patch-level two parts are based on the weights generated by the complementary information measurement. Indeed, to constrain the pixel intensity distribution between the output and infrared image, a style loss is added. Our fusion results perform robust and informative across different scenarios. Qualitative and quantitative results on two datasets illustrate that our method is able to preserve both thermal radiation and detailed information from two modalities and achieve comparable results compared with the other state-of-the-art methods. Ablation experiments show the effectiveness of our information integration architecture and adaptively measure complementary information retention in the loss function.
• Abstract（参考訳）: 赤外・可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としており、その重要な問題は、同一シーンから多モード画像の補完情報を効果的に測定・統合することである。 既存の手法では、画像ペアの相補的な情報を適応的に測定するのではなく、各モードの情報保持を決定するために、損失関数の単純な重みを主に採用している。 本研究では,赤外線・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。 本手法では,残差サンプルブロックはまずソース画像を3つのスケールに分解する。 そして、二重注意融合ブロックが相補的な情報を統合し、各スケールで空間的およびチャネル的注意マップを生成して特徴融合を行う。 最後に、残像再構成ブロックにより出力画像を再構成する。 ロス関数は、画像レベル、特徴レベル、パッチレベルの3つの部分から構成され、画像レベルとパッチレベルの2つの部分は、相補的な情報測定によって生成される重みに基づいて計算される。 実際、出力画像と赤外線画像との間の画素強度分布を制限するために、スタイルロスを追加する。 私たちの融合の結果は、さまざまなシナリオで堅牢で有益なものになります。 2つのデータセットの質的および定量的な結果から,本手法は2つのモードからの熱放射と詳細情報を保存し,他の最先端手法と比較した結果が得られることを示す。 アブレーション実験は、情報統合アーキテクチャの有効性を示し、損失関数における相補的な情報保持を適応的に測定する。

関連論文リスト

• DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion [10.713089596405053]
  二相識別型オートエンコーダフレームワークであるDAE-Fuseは、シャープで自然な融合画像を生成する。 公共の赤外線可視、医用画像融合、下流オブジェクト検出データセットの実験は、我々の方法の優位性と一般化性を示している。
  論文  参考訳（メタデータ） (2024-09-16T08:37:09Z)
• A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
  マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。 本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。 可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:32:40Z)
• Decomposition-based and Interference Perception for Infrared and Visible Image Fusion in Complex Scenes [4.919706769234434]
  本稿では,分解に基づく干渉知覚画像融合法を提案する。 可視画像の画素を光透過の散乱度から分類し,画像の細部とエネルギー情報を分離する。 この洗練された分解により、複雑なシーンにあるより干渉するピクセルを識別するモデルが提案される。
  論文  参考訳（メタデータ） (2024-02-03T09:27:33Z)
• A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
  マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
  論文  参考訳（メタデータ） (2023-12-17T04:45:15Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• When Image Decomposition Meets Deep Learning: A Novel Infrared and Visible Image Fusion Method [27.507158159317417]
  赤外線と可視光の融合は画像処理と画像強調においてホットな話題である。 本稿では,新しいデュアルストリーム自動エンコーダを用いた核融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-02T19:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。