論文の概要: CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion
- arxiv url: http://arxiv.org/abs/2211.14461v2
- Date: Mon, 10 Apr 2023 10:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 21:32:56.013555
- Title: CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion
- Title(参考訳): CDDFuse:多モード画像融合のための相関駆動デュアルブランチ特徴分解
- Authors: Zixiang Zhao, Haowen Bai, Jiangshe Zhang, Yulun Zhang, Shuang Xu, Zudi
Lin, Radu Timofte, Luc Van Gool
- Abstract要約: 本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
- 参考スコア(独自算出の注目度): 138.40422469153145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality (MM) image fusion aims to render fused images that maintain
the merits of different modalities, e.g., functional highlight and detailed
textures. To tackle the challenge in modeling cross-modality features and
decomposing desirable modality-specific and modality-shared features, we
propose a novel Correlation-Driven feature Decomposition Fusion (CDDFuse)
network. Firstly, CDDFuse uses Restormer blocks to extract cross-modality
shallow features. We then introduce a dual-branch Transformer-CNN feature
extractor with Lite Transformer (LT) blocks leveraging long-range attention to
handle low-frequency global features and Invertible Neural Networks (INN)
blocks focusing on extracting high-frequency local information. A
correlation-driven loss is further proposed to make the low-frequency features
correlated while the high-frequency features uncorrelated based on the embedded
information. Then, the LT-based global fusion and INN-based local fusion layers
output the fused image. Extensive experiments demonstrate that our CDDFuse
achieves promising results in multiple fusion tasks, including infrared-visible
image fusion and medical image fusion. We also show that CDDFuse can boost the
performance in downstream infrared-visible semantic segmentation and object
detection in a unified benchmark. The code is available at
https://github.com/Zhaozixiang1228/MMIF-CDDFuse.
- Abstract(参考訳): マルチモダリティ(mm)イメージ融合は、機能的なハイライトや詳細なテクスチャなど、異なるモダリティのメリットを保った融合画像をレンダリングすることを目的としている。
クロスモダリティ特徴のモデル化や所望のモダリティ特異性とモダリティ共有特徴の分解における課題に取り組むため,新たな相関駆動型特徴分解融合(cddfuse)ネットワークを提案する。
まず、CDDFuseはRestormerブロックを使用して、モダリティ間の浅い特徴を抽出する。
次に、Lite Transformer(LT)ブロックを用いた2分岐変換器-CNN特徴抽出器を導入し、低周波グローバル特徴の処理に長距離の注意を生かした。
また、低周波の特徴を関連付けるために相関駆動損失を提案するが、高周波の特徴は埋め込み情報に基づいて非相関である。
そして、lt系グローバルフュージョンおよびinn系ローカルフュージョン層が融合画像を出力する。
広汎な実験により, 近赤外可視画像融合や医用画像融合を含む複数の核融合タスクにおいて, CDDFuseは有望な結果をもたらすことが示された。
また,cddfuseは下流の赤外線可視意味セグメンテーションとオブジェクト検出の性能を統一ベンチマークで向上させることができることを示した。
コードはhttps://github.com/Zhaozixiang1228/MMIF-CDDFuseで公開されている。
関連論文リスト
- Encoder-minimal and Decoder-minimal Framework for Remote Sensing Image
Dehazing [13.759978932686519]
RSHazeNetは、効率的なリモートセンシング画像デハージングのためのエンコーダ最小化およびデコーダ最小化フレームワークである。
我々は、ITFM(Intra-level Transposed fusion Module)と呼ばれる革新的なモジュールを開発する。
論文 参考訳(メタデータ) (2023-12-13T02:35:02Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - DePF: A Novel Fusion Approach based on Decomposition Pooling for
Infrared and Visible Images [7.11574718614606]
分解プール法(デプール法)に基づく新しい融合ネットワークを提案し,これをDePFと呼ぶ。
切り離しに基づくエンコーダは、ソース画像のマルチスケール画像と詳細特徴を同時に抽出するように設計されている。
実験により,提案手法は最先端技術よりも優れた核融合性能を示すことが示された。
論文 参考訳(メタデータ) (2023-05-27T05:47:14Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳(メタデータ) (2023-05-17T06:48:35Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳(メタデータ) (2022-05-24T07:51:57Z) - Cross-Modality Fusion Transformer for Multispectral Object Detection [0.0]
マルチスペクトル画像ペアは、組み合わせた情報を提供し、オブジェクト検出アプリケーションがより信頼性が高く、堅牢になる。
本論文では,CFT (Cross-Modality Fusion Transformer) という,単純かつ効果的なクロスモーダル機能融合手法を提案する。
論文 参考訳(メタデータ) (2021-10-30T15:34:12Z) - Image Fusion Transformer [75.71025138448287]
画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。
近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。
我々は,画像融合変換器 (IFT) を提案する。
論文 参考訳(メタデータ) (2021-07-19T16:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。