論文の概要: Mutual-Guided Dynamic Network for Image Fusion

• arxiv url: http://arxiv.org/abs/2308.12538v2
• Date: Fri, 1 Sep 2023 04:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 16:03:25.403922
• Title: Mutual-Guided Dynamic Network for Image Fusion
• Title（参考訳）: 画像融合のための相互誘導動的ネットワーク
• Authors: Yuanshen Guan, Ruikang Xu, Mingde Yao, Lizhi Wang, Zhiwei Xiong
• Abstract要約: 画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 51.615598671899335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image fusion aims to generate a high-quality image from multiple images captured under varying conditions. The key problem of this task is to preserve complementary information while filtering out irrelevant information for the fused result. However, existing methods address this problem by leveraging static convolutional neural networks (CNNs), suffering two inherent limitations during feature extraction, i.e., being unable to handle spatial-variant contents and lacking guidance from multiple inputs. In this paper, we propose a novel mutual-guided dynamic network (MGDN) for image fusion, which allows for effective information utilization across different locations and inputs. Specifically, we design a mutual-guided dynamic filter (MGDF) for adaptive feature extraction, composed of a mutual-guided cross-attention (MGCA) module and a dynamic filter predictor, where the former incorporates additional guidance from different inputs and the latter generates spatial-variant kernels for different locations. In addition, we introduce a parallel feature fusion (PFF) module to effectively fuse local and global information of the extracted features. To further reduce the redundancy among the extracted features while simultaneously preserving their shared structural information, we devise a novel loss function that combines the minimization of normalized mutual information (NMI) with an estimated gradient mask. Experimental results on five benchmark datasets demonstrate that our proposed method outperforms existing methods on four image fusion tasks. The code and model are publicly available at: https://github.com/Guanys-dar/MGDN.
• Abstract（参考訳）: 画像融合は、様々な条件下で撮影された複数の画像から高品質な画像を生成することを目的としている。 このタスクの鍵となる問題は、融合結果の無関係情報をフィルタリングしながら補完情報を保存することである。 しかし、既存の手法では静的畳み込みニューラルネットワーク(cnns)を活用することでこの問題に対処しており、特徴抽出中に固有の2つの制限、すなわち空間的変動コンテンツの処理ができず、複数の入力からのガイダンスが欠如している。 本稿では,画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 具体的には,相互誘導型クロスアテンション(mgca)モジュールと動的フィルタ予測器からなる適応的特徴抽出のための相互誘導型動的フィルタ(mgdf)の設計を行った。 さらに,抽出した特徴の局所的およびグローバル的情報を効果的に融合する並列特徴融合(PFF)モジュールを導入する。 共有構造情報を同時に保存しながら抽出した特徴間の冗長性をさらに低減するため,正規化相互情報(NMI)の最小化と推定勾配マスクを組み合わせた新たな損失関数を考案した。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。 コードとモデルは、https://github.com/Guanys-dar/MGDNで公開されている。

関連論文リスト

• MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer [21.603763071331667]
  本稿では,アテンショントランスフォーマを用いたマルチスケール畳み込みニューラルネットワーク(MATCNN)に基づく,新しいクロスモーダル画像融合手法を提案する。 MATCNNは、MSFM(Multi-scale fusion Module)を用いて異なるスケールで局所的特徴を抽出し、グローバル特徴抽出モジュール(GFEM)を用いてグローバル特徴を抽出する。 情報マスクを用いて画像内の関連する詳細をラベル付けし、融合画像中の可視画像における赤外線画像および背景テクスチャにおける重要な情報保存の比率を高める。
  論文  参考訳（メタデータ） (2025-02-04T03:09:54Z)
• BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion [11.306367018981678]
  本稿では,両方向ステップワイド・フィーチャーアライメントとフュージョンという,不整合な医用画像融合法を提案する。 特徴アライメントの観点では、BSFA-Fは双方向の段階的なアライメント変形場予測戦略を採用している。 複数のデータセットにまたがる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-12-11T02:56:23Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• CasDyF-Net: Image Dehazing via Cascaded Dynamic Filters [0.0]
  イメージデハジングは、大気の散乱と吸収効果を低減し、画像の明瞭さと視覚的品質を回復することを目的としている。 動的フィルタリングに着想を得て,マルチブランチネットワークを構築するためにカスケード動的フィルタを提案する。 RESIDE、Haze4K、O-Hazeのデータセットの実験は、我々の方法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-13T03:20:38Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Semantic Labeling of High Resolution Images Using EfficientUNets and Transformers [5.177947445379688]
  畳み込みニューラルネットワークとディープトランスを組み合わせた新しいセグメンテーションモデルを提案する。 提案手法は,最先端技術と比較してセグメント化精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-20T12:03:54Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。