論文の概要: DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2409.11642v1
• Date: Wed, 18 Sep 2024 02:14:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:29:58.462836
• Title: DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion
• Title（参考訳）: DAF-Net:赤外線・可視画像融合に適した領域適応型デュアルブランチ特徴分解融合ネットワーク
• Authors: Jian Xu, Xin He,
• Abstract要約: 赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。 最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。 MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
• 参考スコア（独自算出の注目度）: 21.64382683858586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infrared and visible image fusion aims to combine complementary information from both modalities to provide a more comprehensive scene understanding. However, due to the significant differences between the two modalities, preserving key features during the fusion process remains a challenge. To address this issue, we propose a dual-branch feature decomposition fusion network (DAF-Net) with domain adaptive, which introduces Multi-Kernel Maximum Mean Discrepancy (MK-MMD) into the base encoder and designs a hybrid kernel function suitable for infrared and visible image fusion. The base encoder built on the Restormer network captures global structural information while the detail encoder based on Invertible Neural Networks (INN) focuses on extracting detail texture information. By incorporating MK-MMD, the DAF-Net effectively aligns the latent feature spaces of visible and infrared images, thereby improving the quality of the fused images. Experimental results demonstrate that the proposed method outperforms existing techniques across multiple datasets, significantly enhancing both visual quality and fusion performance. The related Python code is available at https://github.com/xujian000/DAF-Net.
• Abstract（参考訳）: 赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。 しかし、この2つのモードの間に大きな違いがあるため、核融合過程における重要な特徴の保存は依然として課題である。 この問題に対処するために,マルチカーネルの最大平均離散値(MK-MMD)をベースエンコーダに導入し,赤外線と可視光の融合に適したハイブリッドカーネル関数を設計する,ドメイン適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。 Restormerネットワーク上に構築されたベースエンコーダは、グローバルな構造情報をキャプチャし、Invertible Neural Networks (INN)に基づくディテールエンコーダは、ディテールテクスチャ情報の抽出に重点を置いている。 MK-MMDを組み込むことで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。 実験の結果,提案手法は複数のデータセットにまたがる既存の手法よりも優れており,視覚的品質と融合性能が著しく向上していることがわかった。 関連するPythonコードはhttps://github.com/xujian000/DAF-Netで公開されている。

関連論文リスト

• CrossFuse: A Novel Cross Attention Mechanism based Infrared and Visible Image Fusion Approach [9.253098561330978]
  補完情報を強化するために,CAM(Cross attention mechanism)を提案する。 融合画像を生成するための2段階の訓練戦略に基づく融合スキームを提案する。 実験の結果,提案手法は既存の核融合ネットワークと比較してSOTA核融合性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T09:52:42Z)
• MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training [57.18758272617101]
  MaeFuseは、赤外線および可視画像融合(IVIF)用に設計された新しいオートエンコーダモデルである 提案モデルでは,MAE(Masked Autoencoders)の事前訓練エンコーダを用いて,低レベル再構成と高レベル視覚タスクのためのオムニ特徴抽出機能を備えている。 MaeFuseは、融合技術という領域で新しい視点を導入するだけでなく、様々な公開データセットで顕著なパフォーマンスで際立っている。
  論文  参考訳（メタデータ） (2024-04-17T02:47:39Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• A Joint Convolution Auto-encoder Network for Infrared and Visible Image Fusion [7.799758067671958]
  我々は、赤外線および可視画像融合のためのジョイント畳み込みオートエンコーダ(JCAE)ネットワークを設計する。 クロタリーナ動物の赤外線認識能力に触発され,赤外線および可視画像融合のためのジョイント・コンボリューション・オートエンコーダ(JCAE)ネットワークを設計した。
  論文  参考訳（メタデータ） (2022-01-26T03:49:27Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。