論文の概要: C-RITNet: Set Infrared and Visible Image Fusion Free from Complementary Information Mining

• arxiv url: http://arxiv.org/abs/2309.06118v2
• Date: Wed, 13 Sep 2023 07:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 11:18:09.729432
• Title: C-RITNet: Set Infrared and Visible Image Fusion Free from Complementary Information Mining
• Title（参考訳）: c-ritnet: 補完的情報マイニングのない赤外線および可視画像融合
• Authors: Yafei Zhang, Keying Du, Huafeng Li, Zhengtao Yu, Yu Liu
• Abstract要約: Infrared and visible image fusion (IVIF) は、2つの異なるモードで補完情報を抽出し、統合することを目的としている。 本稿では,C-RITNetを補完する情報伝達ネットワークを提案する。 相補的情報を冗長なものに合理的に転送し、2つのモードから相補的特徴と相補的特徴の両方を統合する。
• 参考スコア（独自算出の注目度）: 16.02591161352024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion (IVIF) aims to extract and integrate the complementary information in two different modalities to generate high-quality fused images with salient targets and abundant texture details. However, current image fusion methods go to great lengths to excavate complementary features, which is generally achieved through two efforts. On the one hand, the feature extraction network is expected to have excellent performance in extracting complementary information. On the other hand, complex fusion strategies are often designed to aggregate the complementary information. In other words, enabling the network to perceive and extract complementary information is extremely challenging. Complicated fusion strategies, while effective, still run the risk of losing weak edge details. To this end, this paper rethinks the IVIF outside the box, proposing a complementary-redundant information transfer network (C-RITNet). It reasonably transfers complementary information into redundant one, which integrates both the shared and complementary features from two modalities. Hence, the proposed method is able to alleviate the challenges posed by the complementary information extraction and reduce the reliance on sophisticated fusion strategies. Specifically, to skillfully sidestep aggregating complementary information in IVIF, we first design the mutual information transfer (MIT) module to mutually represent features from two modalities, roughly transferring complementary information into redundant one. Then, a redundant information acquisition supervised by source image (RIASSI) module is devised to further ensure the complementary-redundant information transfer after MIT. Meanwhile, we also propose a structure information preservation (SIP) module to guarantee that the edge structure information of the source images can be transferred to the fusion results.
• Abstract（参考訳）: 赤外線および可視画像融合(ivif)は、2つの異なるモードの補完情報を抽出・統合し、優れたターゲットと豊富なテクスチャ詳細を持つ高品質な融合画像を生成することを目的としている。 しかし、現在の画像融合法は相補的な特徴を発掘するために非常に長い時間を要するため、一般的には2つの努力によって達成される。 一方、特徴抽出ネットワークは、補完的情報抽出において優れた性能を有することが期待される。 一方、複雑な融合戦略は相補的な情報を集約するためにしばしば設計される。 言い換えれば、ネットワークが補完的な情報を知覚し抽出できるようにすることは極めて困難である。 複雑な融合戦略は効果的ではあるが、依然として弱いエッジの詳細を失うリスクを負っている。 そこで本稿では,IVIFを箱の外に再考し,補完的冗長情報伝達ネットワーク(C-RITNet)を提案する。 相補的情報を冗長なものに合理的に転送し、2つのモードから相補的特徴と相補的特徴の両方を統合する。 そこで,提案手法は,相補的な情報抽出による課題を緩和し,高度な融合戦略への依存を減らすことができる。 具体的には,まず相互情報伝達(mit)モジュールの設計を行い,その特徴を2つのモダリティから相互に表現し,補完情報を冗長なものに大まかに置き換える。 そして、ソース画像(RIASSI)モジュールによって管理される冗長情報取得を考案し、MIT以降の補間情報転送をさらに確実にする。 また,ソース画像のエッジ構造情報を融合結果に転送可能であることを保証する構造情報保存(sip)モジュールを提案する。

関連論文リスト

• ECAFormer: Low-light Image Enhancement using Cross Attention [11.554554006307836]
  低照度画像強調(LLIE)はコンピュータビジョンにおいて重要である。 我々はクロスアテンショントランス(ECAFormer)による階層的相互強化を設計する。 我々は,ECAFormerが複数のベンチマークで競合性能に到達し,PSNRを最適化法よりも3%近く改善したことを示す。
  論文  参考訳（メタデータ） (2024-06-19T07:21:31Z)
• CrossFuse: A Novel Cross Attention Mechanism based Infrared and Visible Image Fusion Approach [9.253098561330978]
  補完情報を強化するために,CAM(Cross attention mechanism)を提案する。 融合画像を生成するための2段階の訓練戦略に基づく融合スキームを提案する。 実験の結果,提案手法は既存の核融合ネットワークと比較してSOTA核融合性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T09:52:42Z)
• A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
  マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。 本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。 可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:32:40Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [50.84746752058516]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。