論文の概要: MambaHSI: Spatial-Spectral Mamba for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2501.04944v1
• Date: Thu, 09 Jan 2025 03:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:17.078032
• Title: MambaHSI: Spatial-Spectral Mamba for Hyperspectral Image Classification
• Title（参考訳）: MambaHSI:ハイパースペクトル画像分類のための空間スペクトルマンバ
• Authors: Yapeng Li, Yong Luo, Lefei Zhang, Zengmao Wang, Bo Du,
• Abstract要約: 本稿では,Mambaモデルに基づく新しいHSI分類モデル,MambaHSIを提案する。 具体的には,空間的マンバブロック(SpaMB)を設計し,画素レベルの画像全体の長距離相互作用をモデル化する。 スペクトルベクトルを複数のグループに分割し、異なるスペクトル群間の関係をマイニングし、スペクトル特徴を抽出するスペクトルマンバブロック(SpeMB)を提案する。
• 参考スコア（独自算出の注目度）: 46.111607032455225
• License:
• Abstract: Transformer has been extensively explored for hyperspectral image (HSI) classification. However, transformer poses challenges in terms of speed and memory usage because of its quadratic computational complexity. Recently, the Mamba model has emerged as a promising approach, which has strong long-distance modeling capabilities while maintaining a linear computational complexity. However, representing the HSI is challenging for the Mamba due to the requirement for an integrated spatial and spectral understanding. To remedy these drawbacks, we propose a novel HSI classification model based on a Mamba model, named MambaHSI, which can simultaneously model long-range interaction of the whole image and integrate spatial and spectral information in an adaptive manner. Specifically, we design a spatial Mamba block (SpaMB) to model the long-range interaction of the whole image at the pixel-level. Then, we propose a spectral Mamba block (SpeMB) to split the spectral vector into multiple groups, mine the relations across different spectral groups, and extract spectral features. Finally, we propose a spatial-spectral fusion module (SSFM) to adaptively integrate spatial and spectral features of a HSI. To our best knowledge, this is the first image-level HSI classification model based on the Mamba. We conduct extensive experiments on four diverse HSI datasets. The results demonstrate the effectiveness and superiority of the proposed model for HSI classification. This reveals the great potential of Mamba to be the next-generation backbone for HSI models. Codes are available at https://github.com/li-yapeng/MambaHSI .
• Abstract（参考訳）: Transformerは、ハイパースペクトル画像(HSI)分類のために広く研究されている。 しかし、トランスフォーマーは2次計算の複雑さのため、スピードとメモリ使用率の面で課題を提起する。 近年,マンバモデルは線形計算複雑性を維持しつつ,強い長距離モデリング能力を有する有望なアプローチとして出現している。 しかし、空間的およびスペクトル的理解の統合の必要性から、HSIの表現はMambaにとって困難である。 これらの欠点を解消するために,MambaHSIというモデルに基づく新しいHSI分類モデルを提案し,画像全体の長距離相互作用を同時にモデル化し,空間情報とスペクトル情報を適応的に統合する。 具体的には,空間的マンバブロック(SpaMB)を設計し,画素レベルの画像全体の長距離相互作用をモデル化する。 次に、スペクトルベクトルを複数のグループに分割し、異なるスペクトル群間の関係をマイニングし、スペクトル特徴を抽出するスペクトルマンバブロック(SpeMB)を提案する。 最後に、HSIの空間的特徴とスペクトル的特徴を適応的に統合する空間スペクトル融合モジュール(SSFM)を提案する。 私たちの知る限りでは、これがMambaをベースとした最初の画像レベルのHSI分類モデルである。 我々は4つの多様なHSIデータセットについて広範な実験を行った。 その結果,提案したHSI分類モデルの有効性と優位性を示した。 これは、MambaがHSIモデルの次世代バックボーンになる大きな可能性を明らかにしている。 コードはhttps://github.com/li-yapeng/MambaHSI で公開されている。

関連論文リスト

• HMT-UNet: A hybird Mamba-Transformer Vision UNet for Medical Image Segmentation [1.5574423250822542]
  我々はHybird Transformer Vision Mamba UNet(HTM-UNet)という医療画像分割のためのU字型アーキテクチャーモデルを提案する。 我々はISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB、ETIS-Larib PolypDBパブリックデータセット、ZD-LCI-GIMプライベートデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-08-21T02:25:14Z)
• Spatial and Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification [27.943537708598306]
  形態空間マンバ(SMM)モデルと形態空間スペクトルマンバ(SSMM)モデル(MorpMamba)を提案する。 MorpMambaは、形態的操作の強みと状態空間モデルフレームワークを組み合わせることで、トランスフォーマーのより効率的な代替手段を提供する。 広く使われているHSIデータセットの実験結果から、MorpMambaは従来のCNNやトランスフォーマーモデルよりも優れたパラメトリック効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-08-02T16:28:51Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification [10.329381824237434]
  本稿では,HSI分類のための軽量なデュアルストリームマンバ畳み込みネットワーク(DualMamba)を提案する。 具体的には,グローバルおよび局所スペクトル空間の特徴を抽出するために,並列軽量なMambaブロックとCNNブロックを開発した。 現状のHSI分類法と比較して、DualMambaが有意な分類精度を達成することを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-11T08:26:42Z)
• Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
  本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。 MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。 3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-20T13:19:02Z)
• Spectral-Spatial Mamba for Hyperspectral Image Classification [23.215920983979426]
  スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。 提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。 広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2024-04-29T03:36:05Z)
• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [56.37780601189795]
  本稿では,WSI分析のためのフレームワークMamMILを提案する。 私たちは各WSIを非指向グラフとして表現します。 マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。