論文の概要: GAN-HA: A generative adversarial network with a novel heterogeneous dual-discriminator network and a new attention-based fusion strategy for infrared and visible image fusion

• arxiv url: http://arxiv.org/abs/2404.15992v3
• Date: Mon, 2 Sep 2024 05:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 03:22:33.579447
• Title: GAN-HA: A generative adversarial network with a novel heterogeneous dual-discriminator network and a new attention-based fusion strategy for infrared and visible image fusion
• Title（参考訳）: GAN-HA:新しい異種二重識別器ネットワークと近赤外・可視画像融合のための新しい注意基盤融合戦略を備えた生成逆数ネットワーク
• Authors: Guosheng Lu, Zile Fang, Jiaju Tian, Haowen Huang, Yuelong Xu, Zhuolin Han, Yaoming Kang, Can Feng, Zhigang Zhao,
• Abstract要約: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 既存の二重識別器生成敵ネットワーク(GAN)は、2つの構造的に同一の識別器を学習に頼っていることが多い。 本稿では,異種二重識別器ネットワークと注意に基づく融合戦略を備えた新しいGANを提案する。
• 参考スコア（独自算出の注目度）: 0.1160897408844138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion (IVIF) aims to preserve thermal radiation information from infrared images while integrating texture details from visible images. Thermal radiation information is mainly expressed through image intensities, while texture details are typically expressed through image gradients. However, existing dual-discriminator generative adversarial networks (GANs) often rely on two structurally identical discriminators for learning, which do not fully account for the distinct learning needs of infrared and visible image information. To this end, this paper proposes a novel GAN with a heterogeneous dual-discriminator network and an attention-based fusion strategy (GAN-HA). Specifically, recognizing the intrinsic differences between infrared and visible images, we propose, for the first time, a novel heterogeneous dual-discriminator network to simultaneously capture thermal radiation information and texture details. The two discriminators in this network are structurally different, including a salient discriminator for infrared images and a detailed discriminator for visible images. They are able to learn rich image intensity information and image gradient information, respectively. In addition, a new attention-based fusion strategy is designed in the generator to appropriately emphasize the learned information from different source images, thereby improving the information representation ability of the fusion result. In this way, the fused images generated by GAN-HA can more effectively maintain both the salience of thermal targets and the sharpness of textures. Extensive experiments on various public datasets demonstrate the superiority of GAN-HA over other state-of-the-art (SOTA) algorithms while showcasing its higher potential for practical applications.
• Abstract（参考訳）: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 熱放射情報は主として画像強度で表現されるが、テクスチャの詳細は画像勾配で表現されるのが一般的である。 しかし、既存の二重識別器生成敵ネットワーク(GAN)は、赤外線と可視画像情報の異なる学習ニーズを完全に考慮していない2つの構造的に同一の識別器に依存していることが多い。 そこで本研究では,異種二重識別器ネットワークと注意型融合戦略(GAN-HA)を備えた新しいGANを提案する。 具体的には、赤外画像と可視画像の本質的な違いを認識し、熱放射情報とテクスチャの詳細を同時に捉える新しい異種二重識別ネットワークを提案する。 このネットワーク内の2つの判別器は構造的に異なり、赤外画像のための有能な判別器と、可視画像のための詳細な判別器を含む。 彼らはそれぞれ、リッチな画像強度情報と画像勾配情報を学ぶことができる。 さらに、異なるソース画像からの学習情報を適切に強調するために、ジェネレータ内に新しい注目ベースの融合戦略を設計し、融合結果の情報表現能力を向上させる。 このようにして、GAN-HAによって生成された融合画像は、熱標的の塩分濃度とテクスチャの鋭さの両方をより効果的に維持することができる。 様々な公開データセットに対する大規模な実験は、他の最先端(SOTA)アルゴリズムよりもGAN-HAの方が優れていることを示し、実用的な応用の可能性を示している。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion [10.900528467160816]
  我々は、赤外・可視画像融合(AWFGAN)のための注意誘導・ウェーブレット拘束型GANを提案する。 具体的には,空間アテンションモジュール(SAM)をジェネレータに導入し,空間アテンションマップを取得する。 我々は、可視情報の識別範囲をウェーブレット部分空間に拡張し、生成元に可視画像の高周波の詳細を復元させる。
  論文  参考訳（メタデータ） (2022-10-20T05:01:20Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Visible and Near Infrared Image Fusion Based on Texture Information [4.718295968108302]
  テクスチャ情報に基づく新しい可視・近赤外融合法を提案する。 従来の可視・近赤外画像融合法におけるアーティファクト,情報損失,ノイズの問題を解決することを目的としている。 実験の結果,提案アルゴリズムは可視・近赤外画像のスペクトル特性とユニークな情報を保存することができることがわかった。
  論文  参考訳（メタデータ） (2022-07-22T09:02:17Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Dual Contrastive Loss and Attention for GANs [82.713118646294]
  この損失により、識別器はより一般化され、識別可能な表現を学習し、生成をインセンティブ化することを示す。 最近の最先端モデルでは使われていないものの、画像生成にはまだ重要なモジュールとして注目が集まっている。 これらの救済策の強みを組み合わせることで、Fr'echet Inception Distance(FID)をいくつかのベンチマークデータセットで少なくとも17.5%改善します。
  論文  参考訳（メタデータ） (2021-03-31T01:10:26Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)
• Interpreting Galaxy Deblender GAN from the Discriminator's Perspective [50.12901802952574]
  本研究は、ネットワークの主要なコンポーネントである識別器の動作に焦点を当てるが、しばしば見落とされがちな役割を担っている。 本手法は, 生成銀河画像と地中真理画像とを区別する際に, 識別器の注意領域を明確に明らかにする。
  論文  参考訳（メタデータ） (2020-01-17T04:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。