論文の概要: CHITNet: A Complementary to Harmonious Information Transfer Network for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2309.06118v6
• Date: Tue, 22 Oct 2024 02:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:10.395872
• Title: CHITNet: A Complementary to Harmonious Information Transfer Network for Infrared and Visible Image Fusion
• Title（参考訳）: 近赤外・可視画像融合のための高調波情報伝達ネットワークCHITNet
• Authors: Keying Du, Huafeng Li, Yafei Zhang, Zhengtao Yu,
• Abstract要約: 現在の赤外線および可視画像融合法(IVIF)は、相補的特徴を発掘するために非常に長い期間がかかる。 我々は、調和した情報伝達ネットワーク(CHITNet)を提案する。 相補的情報を調和したものに合理的に転送し、2つのモダリティから相補的特徴の共有と相補的特徴を統合する。
• 参考スコア（独自算出の注目度）: 13.152191521891016
• License:
• Abstract: Current infrared and visible image fusion (IVIF) methods go to great lengths to excavate complementary features and design complex fusion strategies, which is extremely challenging. To this end, we rethink the IVIF outside the box, proposing a complementary to harmonious information transfer network (CHITNet). It reasonably transfers complementary information into harmonious one, which integrates both the shared and complementary features from two modalities. Specifically, to skillfully sidestep aggregating complementary information in IVIF, we design a mutual information transfer (MIT) module to mutually represent features from two modalities, roughly transferring complementary information into harmonious one. Then, a harmonious information acquisition supervised by source image (HIASSI) module is devised to further ensure the complementary to harmonious information transfer after MIT. Meanwhile, we also propose a structure information preservation (SIP) module to guarantee that the edge structure information of the source images can be transferred to the fusion results. Moreover, a mutual promotion training paradigm with interaction loss is adopted to facilitate better collaboration among MIT, HIASSI and SIP. In this way, the proposed method is able to generate fused images with higher qualities. Extensive experimental results demonstrate the superiority of CHITNet over state-of-the-art algorithms in terms of visual quality and quantitative evaluations.
• Abstract（参考訳）: 現在の赤外線および可視画像融合法(IVIF)は、相補的な特徴を発掘し、複雑な融合戦略を設計するのに非常に困難である。 この目的のために、ボックス外でIVIFを再考し、調和した情報伝達ネットワーク(CHITNet)を補完することを提案する。 相補的情報を調和したものに合理的に転送し、2つのモダリティから相補的特徴の共有と相補的特徴を統合する。 具体的には,IVIFにおける相補的情報収集を巧みに行うために,相互情報伝達モジュールを設計し,相補的情報を相補的情報に大まかに変換する。 そして、ソース画像(HIASSI)モジュールによって管理される調和情報取得を考案し、MIT以降の調和情報伝達の補間をさらに確実にする。 また、ソース画像のエッジ構造情報を融合結果に転送できることを保証する構造情報保存(SIP)モジュールも提案する。 さらに,MIT,HIASSI,SIP間のコラボレーションを促進するために,インタラクション損失を伴う相互促進トレーニングパラダイムが採用されている。 このようにして,提案手法はより高品質な融合画像を生成することができる。 視覚的品質と定量的評価の観点から,CHITNetが最先端のアルゴリズムよりも優れていることを示した。

関連論文リスト

• ECAFormer: Low-light Image Enhancement using Cross Attention [11.554554006307836]
  低照度画像強調(LLIE)はコンピュータビジョンにおいて重要である。 我々はクロスアテンショントランス(ECAFormer)による階層的相互強化を設計する。 我々は,ECAFormerが複数のベンチマークで競合性能に到達し,PSNRを最適化法よりも3%近く改善したことを示す。
  論文  参考訳（メタデータ） (2024-06-19T07:21:31Z)
• CrossFuse: A Novel Cross Attention Mechanism based Infrared and Visible Image Fusion Approach [9.253098561330978]
  補完情報を強化するために,CAM(Cross attention mechanism)を提案する。 融合画像を生成するための2段階の訓練戦略に基づく融合スキームを提案する。 実験の結果,提案手法は既存の核融合ネットワークと比較してSOTA核融合性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T09:52:42Z)
• A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
  マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。 本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。 可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:32:40Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。