論文の概要: HDDGAN: A Heterogeneous Dual-Discriminator Generative Adversarial Network for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2404.15992v1
• Date: Wed, 24 Apr 2024 17:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 18:41:38.045157
• Title: HDDGAN: A Heterogeneous Dual-Discriminator Generative Adversarial Network for Infrared and Visible Image Fusion
• Title（参考訳）: HDDGAN:赤外・可視画像融合のための異種二重識別器生成アドバイサルネットワーク
• Authors: Guosheng Lu, Zile Fang, Chunming He, Zhigang Zhao,
• Abstract要約: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。 一般的な方法は、熱領域の特徴と詳細な情報を同時に取得する上で、しばしば課題に直面します。 この問題に対処するために,新しい異種二重識別器生成逆数ネットワーク(HDDGAN)を導入する。
• 参考スコア（独自算出の注目度）: 1.3874486202578669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion (IVIF) aims to preserve thermal radiation information from infrared images while integrating texture details from visible images, enabling the capture of important features and hidden details of subjects in complex scenes and disturbed environments. Consequently, IVIF offers distinct advantages in practical applications such as video surveillance, night navigation, and target recognition. However, prevailing methods often face challenges in simultaneously capturing thermal region features and detailed information due to the disparate characteristics of infrared and visible images. Consequently, fusion outcomes frequently entail a compromise between thermal target area information and texture details. In this study, we introduce a novel heterogeneous dual-discriminator generative adversarial network (HDDGAN) to address this issue. Specifically, the generator is structured as a multi-scale skip-connected structure, facilitating the extraction of essential features from different source images. To enhance the information representation ability of the fusion result, an attention mechanism is employed to construct the information fusion layer within the generator, leveraging the disparities between the source images. Moreover, recognizing the distinct learning requirements of information in infrared and visible images, we design two discriminators with differing structures. This approach aims to guide the model to learn salient information from infrared images while simultaneously capturing detailed information from visible images. Extensive experiments conducted on various public datasets demonstrate the superiority of our proposed HDDGAN over other state-of-the-art (SOTA) algorithms, highlighting its enhanced potential for practical applications.
• Abstract（参考訳）: 赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としており、複雑なシーンや乱れた環境において、重要な特徴や被写体の隠れた詳細を捉えることができる。 その結果、IVIFは、ビデオ監視、夜間ナビゲーション、ターゲット認識などの実用的な応用において、明確なアドバンテージを提供する。 しかし、赤外線と可視画像の異なる特徴により、熱領域の特徴と詳細な情報を同時に取得する上で、一般的な手法はしばしば課題に直面している。 その結果、融合の結果は熱標的領域情報とテクスチャの詳細の間の妥協を頻繁に伴う。 本研究では,この問題に対処するために,新しい異種二重識別器生成敵ネットワーク(HDDGAN)を提案する。 具体的には、このジェネレータはマルチスケールのスキップ接続構造として構成され、異なるソース画像から必須の特徴の抽出を容易にする。 融合結果の情報表現能力を高めるために、ソース画像間の相違を利用して、ジェネレータ内の情報融合層を構築するための注意機構を用いる。 さらに、赤外線と可視画像における情報の異なる学習要件を認識し、異なる構造を持つ2つの識別器を設計する。 本手法は、可視画像から詳細な情報を同時に取得しながら、赤外線画像から有能な情報を学習するためのモデルを導くことを目的としている。 様々な公開データセット上で行った大規模な実験は、提案したHDDGANが他の最先端(SOTA)アルゴリズムよりも優れていることを実証し、実用的な応用の可能性を強調した。

関連論文リスト

• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion [10.900528467160816]
  我々は、赤外・可視画像融合(AWFGAN)のための注意誘導・ウェーブレット拘束型GANを提案する。 具体的には,空間アテンションモジュール(SAM)をジェネレータに導入し,空間アテンションマップを取得する。 我々は、可視情報の識別範囲をウェーブレット部分空間に拡張し、生成元に可視画像の高周波の詳細を復元させる。
  論文  参考訳（メタデータ） (2022-10-20T05:01:20Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Visible and Near Infrared Image Fusion Based on Texture Information [4.718295968108302]
  テクスチャ情報に基づく新しい可視・近赤外融合法を提案する。 従来の可視・近赤外画像融合法におけるアーティファクト,情報損失,ノイズの問題を解決することを目的としている。 実験の結果,提案アルゴリズムは可視・近赤外画像のスペクトル特性とユニークな情報を保存することができることがわかった。
  論文  参考訳（メタデータ） (2022-07-22T09:02:17Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Dual Contrastive Loss and Attention for GANs [82.713118646294]
  この損失により、識別器はより一般化され、識別可能な表現を学習し、生成をインセンティブ化することを示す。 最近の最先端モデルでは使われていないものの、画像生成にはまだ重要なモジュールとして注目が集まっている。 これらの救済策の強みを組み合わせることで、Fr'echet Inception Distance(FID)をいくつかのベンチマークデータセットで少なくとも17.5%改善します。
  論文  参考訳（メタデータ） (2021-03-31T01:10:26Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)
• Interpreting Galaxy Deblender GAN from the Discriminator's Perspective [50.12901802952574]
  本研究は、ネットワークの主要なコンポーネントである識別器の動作に焦点を当てるが、しばしば見落とされがちな役割を担っている。 本手法は, 生成銀河画像と地中真理画像とを区別する際に, 識別器の注意領域を明確に明らかにする。
  論文  参考訳（メタデータ） (2020-01-17T04:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。