論文の概要: An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2210.11018v2
• Date: Mon, 24 Oct 2022 07:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:59:33.940949
• Title: An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion
• Title（参考訳）: 赤外・可視画像融合のための注意誘導・ウェーブレット拘束型生成対向ネットワーク
• Authors: Xiaowen Liu, Renhua Wang, Hongtao Huo, Xin Yang, Jing Li
• Abstract要約: 我々は、赤外・可視画像融合(AWFGAN)のための注意誘導・ウェーブレット拘束型GANを提案する。 具体的には,空間アテンションモジュール(SAM)をジェネレータに導入し,空間アテンションマップを取得する。 我々は、可視情報の識別範囲をウェーブレット部分空間に拡張し、生成元に可視画像の高周波の詳細を復元させる。
• 参考スコア（独自算出の注目度）: 10.900528467160816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The GAN-based infrared and visible image fusion methods have gained ever-increasing attention due to its effectiveness and superiority. However, the existing methods adopt the global pixel distribution of source images as the basis for discrimination, which fails to focus on the key modality information. Moreover, the dual-discriminator based methods suffer from the confrontation between the discriminators. To this end, we propose an attention-guided and wavelet-constrained GAN for infrared and visible image fusion (AWFGAN). In this method, two unique discrimination strategies are designed to improve the fusion performance. Specifically, we introduce the spatial attention modules (SAM) into the generator to obtain the spatial attention maps, and then the attention maps are utilized to force the discrimination of infrared images to focus on the target regions. In addition, we extend the discrimination range of visible information to the wavelet subspace, which can force the generator to restore the high-frequency details of visible images. Ablation experiments demonstrate the effectiveness of our method in eliminating the confrontation between discriminators. And the comparison experiments on public datasets demonstrate the effectiveness and superiority of the proposed method.
• Abstract（参考訳）: ganベースの赤外線および可視画像融合法は、その有効性と優れているため、ますます注目を集めている。 しかし,既存の手法では,画像のグローバルな画素分布を識別の基盤として採用しており,重要なモダリティ情報に焦点をあてることができない。 さらに、両判別器に基づく手法は、判別器間の対立に苦しむ。 本研究では,赤外線および可視画像融合(awfgan)のための注意誘導およびウェーブレット制約ganを提案する。 本手法では,核融合性能を向上させるために2つの特異な識別戦略を考案する。 具体的には、空間注意モジュール(sam)を発電機に導入して空間注意マップを得るとともに、赤外線画像の識別を対象領域に集中させるために注意マップを利用する。 さらに,可視情報の識別範囲をウェーブレット部分空間に拡張することで,可視画像の高周波詳細を復元することができる。 アブレーション実験は,判別器間の対立を解消する手法の有効性を示す。 また,公開データセットの比較実験により,提案手法の有効性と優位性を示した。

関連論文リスト

• GAN-HA: A generative adversarial network with a novel heterogeneous dual-discriminator network and a new attention-based fusion strategy for infrared and visible image fusion [0.1160897408844138]
  赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 既存の二重識別器生成敵ネットワーク(GAN)は、2つの構造的に同一の識別器を学習に頼っていることが多い。 本稿では,異種二重識別器ネットワークと注意に基づく融合戦略を備えた新しいGANを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:06:52Z)
• Decomposition-based and Interference Perception for Infrared and Visible Image Fusion in Complex Scenes [4.919706769234434]
  本稿では,分解に基づく干渉知覚画像融合法を提案する。 可視画像の画素を光透過の散乱度から分類し,画像の細部とエネルギー情報を分離する。 この洗練された分解により、複雑なシーンにあるより干渉するピクセルを識別するモデルが提案される。
  論文  参考訳（メタデータ） (2024-02-03T09:27:33Z)
• Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
  相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。 既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。 本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:56:23Z)
• Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification [75.87443138635432]
  既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。 本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。 本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
  論文  参考訳（メタデータ） (2024-01-04T09:19:54Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Infrared and Visible Image Fusion via Interactive Compensatory Attention Adversarial Learning [7.995162257955025]
  本稿では, 融合バランスを改善するために, 生成的対角訓練に基づく新しいエンド・ツー・エンド・モードを提案する。 特にジェネレータでは、トリプルパスを持つマルチレベルエンコーダデコーダネットワークを構築し、赤外線および可視経路を採用し、さらなる強度と情報勾配を提供する。 さらに、二重判別器は、融合した結果とソース画像の類似した分布を特定するように設計されており、生成器はよりバランスの取れた結果を生成するように最適化されている。
  論文  参考訳（メタデータ） (2022-03-29T08:28:14Z)
• Exploring Separable Attention for Multi-Contrast MR Image Super-Resolution [88.16655157395785]
  本稿では,SANet という,分離可能なアテンションネットワーク (優先のアテンションと背景分離のアテンションを含む) を提案する。 補助コントラストの助けを借りて、前後方向の前景と背景領域を探索することができる。 これは、補助コントラストを用いて前景と背景領域を予測する分離可能なアテンションメカニズムを探索する最初のモデルである。
  論文  参考訳（メタデータ） (2021-09-03T05:53:07Z)
• Interpreting Galaxy Deblender GAN from the Discriminator's Perspective [50.12901802952574]
  本研究は、ネットワークの主要なコンポーネントである識別器の動作に焦点を当てるが、しばしば見落とされがちな役割を担っている。 本手法は, 生成銀河画像と地中真理画像とを区別する際に, 識別器の注意領域を明確に明らかにする。
  論文  参考訳（メタデータ） (2020-01-17T04:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。