論文の概要: DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2406.07050v1
• Date: Tue, 11 Jun 2024 08:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:54:22.862480
• Title: DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification
• Title（参考訳）: DualMamba:ハイパースペクトル画像分類のための軽量分光・空間マンバ畳み込みネットワーク
• Authors: Jiamu Sheng, Jingyi Zhou, Jiong Wang, Peng Ye, Jiayuan Fan,
• Abstract要約: 本稿では,HSI分類のための軽量なデュアルストリームマンバ畳み込みネットワーク(DualMamba)を提案する。 具体的には,グローバルおよび局所スペクトル空間の特徴を抽出するために,並列軽量なMambaブロックとCNNブロックを開発した。 現状のHSI分類法と比較して、DualMambaが有意な分類精度を達成することを示す実験結果が得られた。
• 参考スコア（独自算出の注目度）: 10.329381824237434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The effectiveness and efficiency of modeling complex spectral-spatial relations are both crucial for Hyperspectral image (HSI) classification. Most existing methods based on CNNs and transformers still suffer from heavy computational burdens and have room for improvement in capturing the global-local spectral-spatial feature representation. To this end, we propose a novel lightweight parallel design called lightweight dual-stream Mamba-convolution network (DualMamba) for HSI classification. Specifically, a parallel lightweight Mamba and CNN block are first developed to extract global and local spectral-spatial features. First, the cross-attention spectral-spatial Mamba module is proposed to leverage the global modeling of Mamba at linear complexity. Within this module, dynamic positional embedding is designed to enhance the spatial location information of visual sequences. The lightweight spectral/spatial Mamba blocks comprise an efficient scanning strategy and a lightweight Mamba design to efficiently extract global spectral-spatial features. And the cross-attention spectral-spatial fusion is designed to learn cross-correlation and fuse spectral-spatial features. Second, the lightweight spectral-spatial residual convolution module is proposed with lightweight spectral and spatial branches to extract local spectral-spatial features through residual learning. Finally, the adaptive global-local fusion is proposed to dynamically combine global Mamba features and local convolution features for a global-local spectral-spatial representation. Compared with state-of-the-art HSI classification methods, experimental results demonstrate that DualMamba achieves significant classification accuracy on three public HSI datasets and a superior reduction in model parameters and floating point operations (FLOPs).
• Abstract（参考訳）: 複合スペクトル-空間関係のモデル化の有効性と効率性は、ハイパースペクトル画像(HSI)分類において重要である。 CNNやトランスフォーマーをベースとした既存の手法の多くは、依然として計算上の重荷に悩まされており、グローバル・ローカルなスペクトル空間的特徴表現を捉えるための改善の余地がある。 そこで本研究では,HSI分類のための軽量なデュアルストリームマンバ畳み込みネットワーク(DualMamba)を提案する。 具体的には,グローバルおよび局所スペクトル空間の特徴を抽出するために,並列軽量なMambaブロックとCNNブロックを開発した。 まず、クロスアテンションスペクトル-空間マンバ加群は、線形複雑度におけるマンバの大域的モデリングを活用するために提案される。 このモジュール内の動的位置埋め込みは、視覚的シーケンスの空間的位置情報を強化するように設計されている。 軽量なスペクトル/空間的マンバブロックは、効率的な走査戦略と、グローバルなスペクトル/空間的特徴を効率的に抽出する軽量なマンバ設計からなる。 また、クロスアテンションスペクトル-空間融合は、クロス相関を学習し、スペクトル-空間的特徴を融合するように設計されている。 第二に、光スペクトル空間残差畳み込みモジュールは、残差学習を通して局所スペクトル空間特徴を抽出するために、光スペクトルおよび空間枝を用いて提案される。 最後に, 局所スペクトル空間表現のためのグローバルマンバ特徴と局所畳み込み特徴を動的に結合する適応的グローバル局所融合を提案する。 現状のHSI分類法と比較して,DualMambaが3つの公開HSIデータセットに対して有意な分類精度を実現し,モデルパラメータと浮動小数点演算(FLOP)の精度が向上したことを示す実験結果が得られた。

関連論文リスト

• A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
  既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。 本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
  論文  参考訳（メタデータ） (2024-08-31T10:03:19Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• GraphMamba: An Efficient Graph Structure Learning Vision Mamba for Hyperspectral Image Classification [19.740333867168108]
  GraphMambaは、深部空間スペクトル情報マイニングを実現するための効率的なグラフ構造学習ビジョンMamba分類フレームワークである。 GraphMambaのコアコンポーネントには、計算効率を改善するHyperMambaモジュールと、適応的な空間コンテキスト認識のためのSpectralGCNモジュールが含まれている。
  論文  参考訳（メタデータ） (2024-07-11T07:56:08Z)
• HDMba: Hyperspectral Remote Sensing Imagery Dehazing with State Space Model [9.42497788563994]
  ハイパースペクトルリモートセンシング画像(HSI)のヘイズは、空間的な可視性劣化とスペクトル歪みを引き起こす。 我々は、ウィンドウ内のローカル依存関係をキャプチャする新しいウィンドウ選択スキャンモジュール(WSSM)を開発した。 局所的および大域的スペクトル空間情報フローをモデル化することにより,ハジー領域の包括的解析を実現する。 Gaofen-5 HSIデータセットの実験結果から、HDMbaは他の最先端手法よりも性能が優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-09T08:53:02Z)
• Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging [102.35787741640749]
  本稿では,グローバルな長距離依存関係と局所的コンテキストの両方を探索し,効率的なHSI再構成を実現するために,DHM(Dual Hyperspectral Mamba)を提案する。 具体的には、DHMは複数の双対超スペクトルS4ブロック(DHSB)から構成され、元のHSIを復元する。
  論文  参考訳（メタデータ） (2024-06-01T14:14:40Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• Spectral-Spatial Mamba for Hyperspectral Image Classification [23.215920983979426]
  スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。 提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。 広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2024-04-29T03:36:05Z)
• SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
  リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。 我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。 SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
  論文  参考訳（メタデータ） (2024-04-12T14:12:03Z)
• Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
  ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。 ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。 主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
  論文  参考訳（メタデータ） (2024-03-15T07:18:43Z)
• SpectralDiff: A Generative Framework for Hyperspectral Image Classification with Diffusion Models [18.391049303136715]
  拡散モデルを用いたHSI分類のための生成フレームワーク(SpectralDiff)を提案する。 SpectralDiffは、高次元および高冗長なデータの分布情報を効果的にマイニングする。 3つの公開HSIデータセットの実験により、提案手法は最先端の手法よりも優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-04-12T16:32:34Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。