論文の概要: Mutual-Guided Dynamic Network for Image Fusion

• arxiv url: http://arxiv.org/abs/2308.12538v2
• Date: Fri, 1 Sep 2023 04:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 16:03:25.403922
• Title: Mutual-Guided Dynamic Network for Image Fusion
• Title（参考訳）: 画像融合のための相互誘導動的ネットワーク
• Authors: Yuanshen Guan, Ruikang Xu, Mingde Yao, Lizhi Wang, Zhiwei Xiong
• Abstract要約: 画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 51.615598671899335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image fusion aims to generate a high-quality image from multiple images captured under varying conditions. The key problem of this task is to preserve complementary information while filtering out irrelevant information for the fused result. However, existing methods address this problem by leveraging static convolutional neural networks (CNNs), suffering two inherent limitations during feature extraction, i.e., being unable to handle spatial-variant contents and lacking guidance from multiple inputs. In this paper, we propose a novel mutual-guided dynamic network (MGDN) for image fusion, which allows for effective information utilization across different locations and inputs. Specifically, we design a mutual-guided dynamic filter (MGDF) for adaptive feature extraction, composed of a mutual-guided cross-attention (MGCA) module and a dynamic filter predictor, where the former incorporates additional guidance from different inputs and the latter generates spatial-variant kernels for different locations. In addition, we introduce a parallel feature fusion (PFF) module to effectively fuse local and global information of the extracted features. To further reduce the redundancy among the extracted features while simultaneously preserving their shared structural information, we devise a novel loss function that combines the minimization of normalized mutual information (NMI) with an estimated gradient mask. Experimental results on five benchmark datasets demonstrate that our proposed method outperforms existing methods on four image fusion tasks. The code and model are publicly available at: https://github.com/Guanys-dar/MGDN.
• Abstract（参考訳）: 画像融合は、様々な条件下で撮影された複数の画像から高品質な画像を生成することを目的としている。 このタスクの鍵となる問題は、融合結果の無関係情報をフィルタリングしながら補完情報を保存することである。 しかし、既存の手法では静的畳み込みニューラルネットワーク(cnns)を活用することでこの問題に対処しており、特徴抽出中に固有の2つの制限、すなわち空間的変動コンテンツの処理ができず、複数の入力からのガイダンスが欠如している。 本稿では,画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 具体的には,相互誘導型クロスアテンション(mgca)モジュールと動的フィルタ予測器からなる適応的特徴抽出のための相互誘導型動的フィルタ(mgdf)の設計を行った。 さらに,抽出した特徴の局所的およびグローバル的情報を効果的に融合する並列特徴融合(PFF)モジュールを導入する。 共有構造情報を同時に保存しながら抽出した特徴間の冗長性をさらに低減するため,正規化相互情報(NMI)の最小化と推定勾配マスクを組み合わせた新たな損失関数を考案した。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。 コードとモデルは、https://github.com/Guanys-dar/MGDNで公開されている。

関連論文リスト

• Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
  マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。 既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。 本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
  論文  参考訳（メタデータ） (2024-11-15T08:36:24Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
  赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。 最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。 MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
  論文  参考訳（メタデータ） (2024-09-18T02:14:08Z)
• CasDyF-Net: Image Dehazing via Cascaded Dynamic Filters [0.0]
  イメージデハジングは、大気の散乱と吸収効果を低減し、画像の明瞭さと視覚的品質を回復することを目的としている。 動的フィルタリングに着想を得て,マルチブランチネットワークを構築するためにカスケード動的フィルタを提案する。 RESIDE、Haze4K、O-Hazeのデータセットの実験は、我々の方法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-13T03:20:38Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Semantic Labeling of High Resolution Images Using EfficientUNets and Transformers [5.177947445379688]
  畳み込みニューラルネットワークとディープトランスを組み合わせた新しいセグメンテーションモデルを提案する。 提案手法は,最先端技術と比較してセグメント化精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-20T12:03:54Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。