論文の概要: FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model

• arxiv url: http://arxiv.org/abs/2404.07932v3
• Date: Sun, 17 Nov 2024 11:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:27:38.961160
• Title: FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model
• Title（参考訳）: FusionMamba: 状態空間モデルによる効率的なリモートセンシング画像融合
• Authors: Siran Peng, Xiangyu Zhu, Haoyu Deng, Liang-Jian Deng, Zhen Lei,
• Abstract要約: 現在のディープラーニング(DL)手法は、典型的には、特徴抽出と情報統合のために畳み込みニューラルネットワーク(CNN)またはトランスフォーマーを使用する。 本研究では,効率的なリモートセンシング画像融合法であるFusionMambaを提案する。
• 参考スコア（独自算出の注目度）: 35.57157248152558
• License:
• Abstract: Remote sensing image fusion aims to generate a high-resolution multi/hyper-spectral image by combining a high-resolution image with limited spectral data and a low-resolution image rich in spectral information. Current deep learning (DL) methods typically employ convolutional neural networks (CNNs) or Transformers for feature extraction and information integration. While CNNs are efficient, their limited receptive fields restrict their ability to capture global context. Transformers excel at learning global information but are computationally expensive. Recent advancements in the state space model (SSM), particularly Mamba, present a promising alternative by enabling global perception with low complexity. However, the potential of SSM for information integration remains largely unexplored. Therefore, we propose FusionMamba, an innovative method for efficient remote sensing image fusion. Our contributions are twofold. First, to effectively merge spatial and spectral features, we expand the single-input Mamba block to accommodate dual inputs, creating the FusionMamba block, which serves as a plug-and-play solution for information integration. Second, we incorporate Mamba and FusionMamba blocks into an interpretable network architecture tailored for remote sensing image fusion. Our designs utilize two U-shaped network branches, each primarily composed of four-directional Mamba blocks, to extract spatial and spectral features separately and hierarchically. The resulting feature maps are sufficiently merged in an auxiliary network branch constructed with FusionMamba blocks. Furthermore, we improve the representation of spectral information through an enhanced channel attention module. Quantitative and qualitative valuation results across six datasets demonstrate that our method achieves SOTA performance. The code is available at https://github.com/PSRben/FusionMamba.
• Abstract（参考訳）: リモートセンシング画像融合は、スペクトルデータに制限された高解像度画像とスペクトル情報に富んだ低解像度画像を組み合わせることで、高解像度のマルチ・ハイパスペクトル画像を生成することを目的としている。 現在のディープラーニング(DL)手法は、典型的には、特徴抽出と情報統合のために畳み込みニューラルネットワーク(CNN)またはトランスフォーマーを使用する。 CNNは効率的だが、その制限された受容領域は、グローバルなコンテキストをキャプチャする能力を制限している。 トランスフォーマーはグローバルな情報を学ぶのが得意だが、計算コストが高い。 状態空間モデル(SSM)の最近の進歩、特にMambaは、複雑性の低いグローバルな認識を可能にすることで、有望な代替手段を提示している。 しかし、情報統合におけるSSMの可能性はほとんど未解明のままである。 そこで我々は,効率的なリモートセンシング画像融合法であるFusionMambaを提案する。 私たちの貢献は2倍です。 まず、空間的特徴とスペクトル的特徴を効果的にマージするために、単一入力のMambaブロックを拡張して二重入力に対応させ、情報統合のためのプラグアンドプレイソリューションとして機能するFusionMambaブロックを作成する。 第2に、リモートセンシング画像融合に適した解釈可能なネットワークアーキテクチャに、MambaブロックとFusionMambaブロックを組み込む。 本設計では,主に4方向マンバブロックから構成される2つのU字型ネットワーク分岐を用いて,空間的特徴とスペクトル的特徴を分離・階層的に抽出する。 その結果得られた特徴写像はFusionMambaブロックで構築された補助ネットワークブランチに十分にマージされる。 さらに,拡張チャネルアテンションモジュールによるスペクトル情報の表現を改善した。 6つのデータセットにまたがる定量的,質的な評価結果から,本手法がSOTA性能を実現することを示す。 コードはhttps://github.com/PSRben/FusionMamba.comで入手できる。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Why mamba is effective? Exploit Linear Transformer-Mamba Network for Multi-Modality Image Fusion [15.79138560700532]
  我々はTmambaと呼ばれる2分岐画像融合ネットワークを提案する。 線形トランスフォーマーとMambaで構成されており、線形複雑性を維持しながらグローバルなモデリング機能を備えている。 実験の結果、我々のTmambaは赤外線可視画像融合や医用画像融合など、複数の融合タスクにおいて有望な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-09-05T03:42:11Z)
• FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba [17.75933946414591]
  マルチモーダル画像融合は、異なるモードからの情報を組み合わせて、1つの画像と詳細なテクスチャを作成することを目的としている。 トランスフォーマーベースのモデルは、グローバルな特徴モデリングに優れているが、その2次複雑さに起因する計算上の課題に直面している。 マルチモーダル画像融合のための動的特徴強調手法FusionMambaを提案する。
  論文  参考訳（メタデータ） (2024-04-15T06:37:21Z)
• A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion [14.293042131263924]
  画像融合タスクでは、異なるソースからのイメージは異なる特徴を持つ。 状態空間モデルとしてのMambaは自然言語処理の分野で登場している。 これらの課題に感化されて、画像融合タスク用に設計されたMambaネットワークをカスタマイズし、改善する。
  論文  参考訳（メタデータ） (2024-04-14T16:09:33Z)
• Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
  異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。 We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。 提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
  論文  参考訳（メタデータ） (2024-04-14T05:28:46Z)
• MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion [4.2474907126377115]
  MMIF(Multi-modality Image fusion)は、異なるモダリティからの補完情報を単一の融合画像に統合することを目的としている。 本研究では, モーダリティ特異的およびモーダリティ融合特徴を抽出するために, マンバをベースとした2相融合モデル(MambaDFuse)を提案する。 提案手法は,赤外線可視画像融合と医用画像融合において有望な融合を実現する。
  論文  参考訳（メタデータ） (2024-04-12T11:33:26Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• Image Fusion Transformer [75.71025138448287]
  画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。 近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。 我々は,画像融合変換器 (IFT) を提案する。
  論文  参考訳（メタデータ） (2021-07-19T16:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。