論文の概要: S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2404.18213v1
- Date: Sun, 28 Apr 2024 15:12:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 15:35:41.199917
- Title: S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification
- Title（参考訳）: S$^2$Mamba:ハイパースペクトル画像分類のための空間スペクトル状態空間モデル
- Authors: Guanchun Wang, Xiangrong Zhang, Zelin Peng, Tianyang Zhang, Xiuping Jia, Licheng Jiao,
- Abstract要約: ハイパースペクトル画像(HSI)を用いた土地被覆解析は、空間分解能の低さと複雑なスペクトル情報のため、未解決の課題である。
ハイパースペクトル画像分類のための空間スペクトル状態空間モデルであるS$2$Mambaを提案する。
- 参考スコア（独自算出の注目度）: 47.32349241618756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Land cover analysis using hyperspectral images (HSI) remains an open problem due to their low spatial resolution and complex spectral information. Recent studies are primarily dedicated to designing Transformer-based architectures for spatial-spectral long-range dependencies modeling, which is computationally expensive with quadratic complexity. Selective structured state space model (Mamba), which is efficient for modeling long-range dependencies with linear complexity, has recently shown promising progress. However, its potential in hyperspectral image processing that requires handling numerous spectral bands has not yet been explored. In this paper, we innovatively propose S$^2$Mamba, a spatial-spectral state space model for hyperspectral image classification, to excavate spatial-spectral contextual features, resulting in more efficient and accurate land cover analysis. In S$^2$Mamba, two selective structured state space models through different dimensions are designed for feature extraction, one for spatial, and the other for spectral, along with a spatial-spectral mixture gate for optimal fusion. More specifically, S$^2$Mamba first captures spatial contextual relations by interacting each pixel with its adjacent through a Patch Cross Scanning module and then explores semantic information from continuous spectral bands through a Bi-directional Spectral Scanning module. Considering the distinct expertise of the two attributes in homogenous and complicated texture scenes, we realize the Spatial-spectral Mixture Gate by a group of learnable matrices, allowing for the adaptive incorporation of representations learned across different dimensions. Extensive experiments conducted on HSI classification benchmarks demonstrate the superiority and prospect of S$^2$Mamba. The code will be available at: https://github.com/PURE-melo/S2Mamba.
- Abstract（参考訳）: ハイパースペクトル画像(HSI)を用いた土地被覆解析は、空間分解能の低さと複雑なスペクトル情報のため、未解決の課題である。
近年の研究は、空間スペクトル長範囲依存モデリングのためのトランスフォーマーベースのアーキテクチャの設計に主眼を置いている。
線形複雑性を伴う長距離依存関係のモデリングに効率的である選択的構造化状態空間モデル(Mamba)は,最近,有望な進展を示した。
しかし、多くのスペクトル帯域を扱う必要のある超スペクトル画像処理におけるその可能性はまだ検討されていない。
本稿では,高スペクトル画像分類のための空間スペクトル状態モデルであるS$^2$Mambaを提案する。
S$^2$Mambaでは、異なる次元による2つの選択的構造化状態空間モデルが特徴抽出のために設計され、1つは空間、もう1つはスペクトルに対して設計され、もう1つは空間-スペクトル混合ゲートが最適融合のために設計されている。
具体的には、S$^2$Mambaはまず、Patch Cross Scanningモジュールを通して各ピクセルと隣接するピクセルを相互作用させ、次に双方向スペクトル走査モジュールを通して連続スペクトルバンドからの意味情報を探索することによって空間的文脈関係を捉える。
相似的および複雑なテクスチャシーンにおける2つの属性の異なる専門性を考慮すると、学習可能な行列群による空間-スペクトル混合ゲートを実現し、異なる次元で学習した表現を適応的に組み込むことができる。
HSI分類ベンチマークで行った大規模な実験は、S$^2$Mambaの優位性と可能性を示している。
コードは、https://github.com/PURE-melo/S2Mamba.comから入手できる。
関連論文リスト
- HTD-Mamba: Efficient Hyperspectral Target Detection with Pyramid State Space Model [5.505983410956103]
ハイパースペクトルターゲット検出(HTD)は、ピクセルレベルの複雑な背景から興味のある対象を特定する。
本稿では, HTD-Mamba というピラミッド状態空間モデル (SSM) を用いた効率的な自己教師型 HTD 手法を提案する。
4つの公開データセットで行った実験により,提案手法は定量評価と定性評価の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-07-09T13:21:26Z) - SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。
我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。
提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
論文 参考訳（メタデータ） (2024-06-14T08:43:31Z) - SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising [13.1240990099267]
HSI復調のためのメモリ効率の良い空間スペクトル(SSUMamba)を導入する。
Mambaは、その顕著な長距離依存性モデリング機能で知られている。
SSUMambaは、トランスフォーマーベースの手法に比べて、バッチ当たりのメモリ消費が低い優れたデノナイズ結果が得られる。
論文 参考訳（メタデータ） (2024-05-02T20:44:26Z) - Spectral-Spatial Mamba for Hyperspectral Image Classification [23.215920983979426]
スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。
提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。
広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
論文 参考訳（メタデータ） (2024-04-29T03:36:05Z) - Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral
Image Super-Resolution [47.12985199570964]
超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。
具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。
3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-29T03:38:56Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳（メタデータ） (2023-06-14T09:01:50Z) - Spectral Enhanced Rectangle Transformer for Hyperspectral Image
Denoising [64.11157141177208]
ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。
前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。
後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
論文 参考訳（メタデータ） (2023-04-03T09:42:13Z) - Benchmarking Spatial Relationships in Text-to-Image Generation [102.62422723894232]
本研究では,オブジェクト間の空間的関係を正確に生成するテキスト・ツー・イメージモデルについて検討する。
画像中にテキストで記述された空間関係がどれだけ正確に生成されるかを測定する評価指標であるVISORを提案する。
我々の実験では、最先端のT2Iモデルは高画質であるが、複数のオブジェクトを生成できる能力や、それらの間の空間的関係が著しく制限されていることが判明した。
論文 参考訳（メタデータ） (2022-12-20T06:03:51Z) - Adaptive Linear Span Network for Object Skeleton Detection [56.78705071830965]
本研究では,適応線形スパンネットワーク(AdaLSN)を提案する。
AdaLSNは、精度とレイテンシのトレードオフを著しく高めることで、その汎用性を裏付ける。
また、エッジ検出や道路抽出といったイメージ・ツー・マスクのタスクに適用可能であることも示している。
論文 参考訳（メタデータ） (2020-11-08T12:51:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。