論文の概要: Spectral-Spatial Mamba for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2404.18401v1
• Date: Mon, 29 Apr 2024 03:36:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 14:56:28.743830
• Title: Spectral-Spatial Mamba for Hyperspectral Image Classification
• Title（参考訳）: ハイパースペクトル画像分類のための分光・空間マンバ
• Authors: Lingbo Huang, Yushi Chen, Xin He,
• Abstract要約: スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。 提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。 広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
• 参考スコア（独自算出の注目度）: 23.215920983979426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deep learning models have achieved excellent performance in hyperspectral image (HSI) classification. Among the many deep models, Transformer has gradually attracted interest for its excellence in modeling the long-range dependencies of spatial-spectral features in HSI. However, Transformer has the problem of quadratic computational complexity due to the self-attention mechanism, which is heavier than other models and thus has limited adoption in HSI processing. Fortunately, the recently emerging state space model-based Mamba shows great computational efficiency while achieving the modeling power of Transformers. Therefore, in this paper, we make a preliminary attempt to apply the Mamba to HSI classification, leading to the proposed spectral-spatial Mamba (SS-Mamba). Specifically, the proposed SS-Mamba mainly consists of spectral-spatial token generation module and several stacked spectral-spatial Mamba blocks. Firstly, the token generation module converts any given HSI cube to spatial and spectral tokens as sequences. And then these tokens are sent to stacked spectral-spatial mamba blocks (SS-MB). Each SS-MB block consists of two basic mamba blocks and a spectral-spatial feature enhancement module. The spatial and spectral tokens are processed separately by the two basic mamba blocks, respectively. Besides, the feature enhancement module modulates spatial and spectral tokens using HSI sample's center region information. In this way, the spectral and spatial tokens cooperate with each other and achieve information fusion within each block. The experimental results conducted on widely used HSI datasets reveal that the proposed model achieves competitive results compared with the state-of-the-art methods. The Mamba-based method opens a new window for HSI classification.
• Abstract（参考訳）: 近年,ハイパースペクトル画像(HSI)分類におけるディープラーニングモデルの性能が向上している。 多くの深層モデルの中で、Transformerは徐々に、HSIにおける空間スペクトルの特徴の長距離依存性のモデリングにおける卓越性に関心を惹きつけてきた。 しかし、Transformerは、他のモデルよりも重く、したがってHSI処理に限られる自己保持機構のため、2次計算複雑性の問題を抱えている。 幸いなことに、最近登場した状態空間モデルベースのMambaは、トランスフォーマーのモデリング能力を実現しつつ、計算効率が優れている。 そこで本稿では,MambaをHSI分類に適用する予備的な試みを行い,スペクトル空間マンバ(SS-Mamba)を提案する。 具体的には、提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの重ねられたスペクトル空間マンバブロックから構成される。 まず、トークン生成モジュールは任意のHSI立方体を、空間およびスペクトルトークンをシーケンスとして変換する。 そしてこれらのトークンは、スタック化されたスペクトル空間マンバブロック(SS-MB)に送られる。 各SS-MBブロックは2つの基本マンバブロックとスペクトル空間的特徴拡張モジュールから構成される。 空間トークンとスペクトルトークンはそれぞれ2つの基本マンバブロックによって別々に処理される。 さらに、この機能拡張モジュールは、HSIサンプルの中心領域情報を用いて、空間トークンとスペクトルトークンを変調する。 このように、スペクトルトークンと空間トークンは互いに協調し、各ブロック内で情報融合を実現する。 広く利用されているHSIデータセットを用いた実験結果から,提案手法は最先端の手法と比較して,競争力のある結果が得られることがわかった。 Mambaベースの手法は、HSI分類のための新しいウィンドウを開く。

関連論文リスト

• Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification [27.04370747400184]
  本稿では,まずハイパースペクトル画像パッチを空間スペクトルトークンに変換するトークン生成モジュールである空間スペクトル形態マンバ(MorpMamba)モデルを提案する。 これらのトークンはモルフォロジー演算によって処理され、奥行き分離可能な畳み込み演算を用いて構造情報と形状情報を計算する。 広く使われているHSIデータセットの実験では、MorpMambaモデルはCNNモデルとTransformerモデルの両方で(パラメトリック効率)優れていた。
  論文  参考訳（メタデータ） (2024-08-02T16:28:51Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification [10.329381824237434]
  本稿では,HSI分類のための軽量なデュアルストリームマンバ畳み込みネットワーク(DualMamba)を提案する。 具体的には,グローバルおよび局所スペクトル空間の特徴を抽出するために,並列軽量なMambaブロックとCNNブロックを開発した。 現状のHSI分類法と比較して、DualMambaが有意な分類精度を達成することを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-11T08:26:42Z)
• 3DSS-Mamba: 3D-Spectral-Spatial Mamba for Hyperspectral Image Classification [14.341510793163138]
  HSI分類のための新しい3次元スペクトル空間マンバフレームワークを提案する。 3Dスペクトル-空間選択走査機構を導入し、3Dハイパースペクトルトークン上で画素ワイズ選択走査を行う。 実験結果と解析結果から,提案手法はHSI分類ベンチマークの最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-21T04:10:26Z)
• Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
  本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。 MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。 3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-20T13:19:02Z)
• SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising [13.1240990099267]
  HSI復調のためのメモリ効率の良い空間スペクトル(SSUMamba)を導入する。 Mambaは、その顕著な長距離依存性モデリング機能で知られている。 SSUMambaは、トランスフォーマーベースの手法に比べて、バッチ当たりのメモリ消費が低い優れたデノナイズ結果が得られる。
  論文  参考訳（メタデータ） (2024-05-02T20:44:26Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks [51.15952040322895]
  ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。 M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。 HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T23:28:18Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。