論文の概要: CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion
- arxiv url: http://arxiv.org/abs/2211.14461v1
- Date: Sat, 26 Nov 2022 02:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 18:05:44.321576
- Title: CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion
- Title(参考訳): CDDFuse:多モード画像融合のための相関駆動デュアルブランチ特徴分解
- Authors: Zixiang Zhao, Haowen Bai, Jiangshe Zhang, Yulun Zhang, Shuang Xu, Zudi
Lin, Radu Timofte, Luc Van Gool
- Abstract要約: 本稿では,エンドツーエンドのMM特徴分解と画像融合のための相関型特徴分解ネットワークを提案する。
我々のCDDFuseは、赤外線可視画像融合や医用画像融合など、複数の融合タスクにおいて有望な結果をもたらす。
- 参考スコア(独自算出の注目度): 138.40422469153145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality (MM) image fusion aims to render fused images that maintain
the merits of different modalities, e.g., functional highlight and detailed
textures. To tackle the challenge in modeling cross-modality features and
decomposing desirable modality-specific and modality-shared features, we
propose a novel Correlation-Driven feature Decomposition Fusion (CDDFuse)
network for end-to-end MM feature decomposition and image fusion. In the first
stage of the two-stage architectures, CDDFuse uses Restormer blocks to extract
cross-modality shallow features. We then introduce a dual-branch
Transformer-CNN feature extractor with Lite Transformer (LT) blocks leveraging
long-range attention to handle low-frequency global features and Invertible
Neural Networks (INN) blocks focusing on extracting high-frequency local
information. Upon the embedded semantic information, the low-frequency features
should be correlated while the high-frequency features should be uncorrelated.
Thus, we propose a correlation-driven loss for better feature decomposition. In
the second stage, the LT-based global fusion and INN-based local fusion layers
output the fused image. Extensive experiments demonstrate that our CDDFuse
achieves promising results in multiple fusion tasks, including infrared-visible
image fusion and medical image fusion. We also show that CDDFuse can boost the
performance in downstream infrared-visible semantic segmentation and object
detection in a unified benchmark.
- Abstract(参考訳): マルチモダリティ(mm)イメージ融合は、機能的なハイライトや詳細なテクスチャなど、異なるモダリティのメリットを保った融合画像をレンダリングすることを目的としている。
クロスモダリティ特徴のモデル化や所望のモダリティ特異的特徴とモダリティ共有特徴の分解の課題に取り組むため,エンド・ツー・エンドmm特徴分解と画像融合のための新しい相関駆動特徴分解融合(cddfuse)ネットワークを提案する。
2段階アーキテクチャの最初の段階では、CDDFuseはRestormerブロックを使用して、モダリティ間の浅い特徴を抽出する。
次に、Lite Transformer(LT)ブロックを用いた2分岐変換器-CNN特徴抽出器を導入し、低周波グローバル特徴の処理に長距離の注意を生かした。
埋め込みセマンティック情報では、低周波の特徴は相関するが、高周波の特徴は相関しないべきである。
そこで本研究では,より優れた特徴分解のための相関型損失を提案する。
第2段階では、LTベースのグローバル核融合とNNベースのローカル核融合層が融合画像を出力する。
広汎な実験により, 近赤外可視画像融合や医用画像融合を含む複数の核融合タスクにおいて, CDDFuseは有望な結果をもたらすことが示された。
また,cddfuseは下流の赤外線可視意味セグメンテーションとオブジェクト検出の性能を統一ベンチマークで向上させることができることを示した。
関連論文リスト
- Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳(メタデータ) (2024-10-16T06:28:49Z) - DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。
最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。
MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
論文 参考訳(メタデータ) (2024-09-18T02:14:08Z) - A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。
本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。
可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
論文 参考訳(メタデータ) (2024-06-11T09:32:40Z) - MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion [4.2474907126377115]
MMIF(Multi-modality Image fusion)は、異なるモダリティからの補完情報を単一の融合画像に統合することを目的としている。
本研究では, モーダリティ特異的およびモーダリティ融合特徴を抽出するために, マンバをベースとした2相融合モデル(MambaDFuse)を提案する。
提案手法は,赤外線可視画像融合と医用画像融合において有望な融合を実現する。
論文 参考訳(メタデータ) (2024-04-12T11:33:26Z) - Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。
早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。
本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
論文 参考訳(メタデータ) (2023-10-21T00:56:11Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - DePF: A Novel Fusion Approach based on Decomposition Pooling for
Infrared and Visible Images [7.11574718614606]
分解プール法(デプール法)に基づく新しい融合ネットワークを提案し,これをDePFと呼ぶ。
切り離しに基づくエンコーダは、ソース画像のマルチスケール画像と詳細特徴を同時に抽出するように設計されている。
実験により,提案手法は最先端技術よりも優れた核融合性能を示すことが示された。
論文 参考訳(メタデータ) (2023-05-27T05:47:14Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳(メタデータ) (2023-05-17T06:48:35Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳(メタデータ) (2022-05-24T07:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。