論文の概要: AHDGAN: An Attention-Based Generator and Heterogeneous Dual-Discriminator Generative Adversarial Network for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2404.15992v2
• Date: Tue, 9 Jul 2024 08:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 21:10:19.222180
• Title: AHDGAN: An Attention-Based Generator and Heterogeneous Dual-Discriminator Generative Adversarial Network for Infrared and Visible Image Fusion
• Title（参考訳）: AHDGAN:赤外・可視画像融合のためのアテンションベースジェネレータと異種デュアルディスクリミネータ生成アドバイザネットワーク
• Authors: Guosheng Lu, Zile Fang, Chunming He, Zhigang Zhao,
• Abstract要約: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 既存の2つの識別器 GAN (Generative Adversarial Networks) は2つの同一の識別器を用いて、異なる種類の情報を学ぶ際にモデルを導く。 本稿では、赤外・可視画像融合のための新しい注意ベースジェネレータと異種二重識別器生成対向ネットワーク(AHDGAN)を提案する。
• 参考スコア（独自算出の注目度）: 1.3874486202578669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion (IVIF) aims to preserve thermal radiation information from infrared images while integrating texture details from visible images. The differences that infrared images primarily express thermal radiation through image intensity while visible images mainly represent texture details via image gradients, has long been considered a significant obstacle to IVIF technology development. Existing dual-discriminator Generative Adversarial Networks (GANs) use two identical discriminators to guide the model in learning different types of information. However, given the intrinsic differences between infrared and visible images, using two heterogeneous discriminators is more effective. This paper proposes a novel attention-based generator and heterogeneous dual-discriminator generative adversarial network (AHDGAN) for infrared and visible image fusion. Specifically, the model employs two structurally different discriminators to address the distinct learning needs of infrared and visible image information. These include a global discriminator for thermal radiation information and a Markovian discriminator for detailed information. Additionally, different multi-scale attention modules are introduced to help the discriminators focus better on their respective source images. Based on this, to integrate the learned information from different source images effectively, an attention mechanism is designed in the generator to construct an information fusion layer. This approach guides the model to learn thermal radiation information from infrared images while simultaneously capturing texture details from visible images. Extensive experiments on various public datasets demonstrate the superiority of our proposed AHDGAN over other state-of-the-art (SOTA) algorithms, highlighting its enhanced potential for practical applications.
• Abstract（参考訳）: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 赤外線画像が主に画像強度で熱放射を表現しているのに対し、可視画像は画像勾配でテクスチャの詳細を表現している点の違いは、長い間IVIF技術の発達において重要な障害と考えられてきた。 既存の2つの識別器 GAN (Generative Adversarial Networks) は2つの同一の識別器を用いて、異なるタイプの情報を学ぶ際にモデルを導く。 しかし、赤外画像と可視画像の本質的な違いを考えると、2つの異種判別器の方が効果的である。 本稿では、赤外・可視画像融合のための新しい注意ベースジェネレータと異種二重識別器生成対向ネットワーク(AHDGAN)を提案する。 具体的には、赤外線と可視画像情報の異なる学習ニーズに対応するために、2つの構造的に異なる識別器を用いる。 これには、熱放射情報のためのグローバル判別器と、詳細な情報のためのマルコフ判別器が含まれる。 さらに、異なるマルチスケールアテンションモジュールを導入して、識別者がそれぞれのソースイメージをよりよくフォーカスできるようにする。 これに基づいて、異なるソース画像からの学習情報を効果的に統合するために、ジェネレータ内にアテンション機構を設計し、情報融合層を構築する。 提案手法では,赤外線画像からの熱放射情報を学習し,同時にテクスチャの詳細を可視化する。 様々な公開データセットに対する大規模な実験は、提案したAHDGANが他の最先端(SOTA)アルゴリズムよりも優れていることを示した。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion [10.900528467160816]
  我々は、赤外・可視画像融合(AWFGAN)のための注意誘導・ウェーブレット拘束型GANを提案する。 具体的には,空間アテンションモジュール(SAM)をジェネレータに導入し,空間アテンションマップを取得する。 我々は、可視情報の識別範囲をウェーブレット部分空間に拡張し、生成元に可視画像の高周波の詳細を復元させる。
  論文  参考訳（メタデータ） (2022-10-20T05:01:20Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Visible and Near Infrared Image Fusion Based on Texture Information [4.718295968108302]
  テクスチャ情報に基づく新しい可視・近赤外融合法を提案する。 従来の可視・近赤外画像融合法におけるアーティファクト,情報損失,ノイズの問題を解決することを目的としている。 実験の結果,提案アルゴリズムは可視・近赤外画像のスペクトル特性とユニークな情報を保存することができることがわかった。
  論文  参考訳（メタデータ） (2022-07-22T09:02:17Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Dual Contrastive Loss and Attention for GANs [82.713118646294]
  この損失により、識別器はより一般化され、識別可能な表現を学習し、生成をインセンティブ化することを示す。 最近の最先端モデルでは使われていないものの、画像生成にはまだ重要なモジュールとして注目が集まっている。 これらの救済策の強みを組み合わせることで、Fr'echet Inception Distance(FID)をいくつかのベンチマークデータセットで少なくとも17.5%改善します。
  論文  参考訳（メタデータ） (2021-03-31T01:10:26Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)
• Interpreting Galaxy Deblender GAN from the Discriminator's Perspective [50.12901802952574]
  本研究は、ネットワークの主要なコンポーネントである識別器の動作に焦点を当てるが、しばしば見落とされがちな役割を担っている。 本手法は, 生成銀河画像と地中真理画像とを区別する際に, 識別器の注意領域を明確に明らかにする。
  論文  参考訳（メタデータ） (2020-01-17T04:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。