論文の概要: Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2408.01372v2
- Date: Fri, 23 Aug 2024 10:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 17:21:03.899558
- Title: Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification
- Title（参考訳）: ハイパースペクトル画像分類のための空間スペクトル形態マンバ
- Authors: Muhammad Ahmad, Muhammad Hassaan Farooq Butt, Muhammad Usama, Adil Mehmood Khan, Manuel Mazzara, Salvatore Distefano, Hamad Ahmed Altuwaijri, Swalpa Kumar Roy, Jocelyn Chanussot, Danfeng Hong,
- Abstract要約: 本稿では,まずハイパースペクトル画像パッチを空間スペクトルトークンに変換するトークン生成モジュールである空間スペクトル形態マンバ(MorpMamba)モデルを提案する。
これらのトークンはモルフォロジー演算によって処理され、奥行き分離可能な畳み込み演算を用いて構造情報と形状情報を計算する。
広く使われているHSIデータセットの実験では、MorpMambaモデルはCNNモデルとTransformerモデルの両方で(パラメトリック効率)優れていた。
- 参考スコア（独自算出の注目度）: 27.04370747400184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the emergence of Transformers with self-attention mechanism has revolutionized the hyperspectral image (HSI) classification. However, these models face major challenges in computational efficiency, as their complexity increases quadratically with the sequence length. The Mamba architecture, leveraging a state space model (SSM), offers a more efficient alternative to Transformers. This paper introduces the Spatial-Spectral Morphological Mamba (MorpMamba) model in which, a token generation module first converts the HSI patch into spatial-spectral tokens. These tokens are then processed by morphological operations, which compute structural and shape information using depthwise separable convolutional operations. The extracted information is enhanced in a feature enhancement module that adjusts the spatial and spectral tokens based on the center region of the HSI sample, allowing for effective information fusion within each block. Subsequently, the tokens are refined through a multi-head self-attention which further improves the feature space. Finally, the combined information is fed into the state space block for classification and the creation of the ground truth map. Experiments on widely used HSI datasets demonstrate that the MorpMamba model outperforms (parametric efficiency) both CNN and Transformer models. The source code will be made publicly available at \url{https://github.com/MHassaanButt/MorpMamba}.
- Abstract（参考訳）: 近年,自己注意機構を持つトランスフォーマーの出現は,ハイパースペクトル画像(HSI)の分類に革命をもたらした。
しかし、これらのモデルは計算効率の大きな課題に直面する。
状態空間モデル(SSM)を活用するMambaアーキテクチャは、Transformerのより効率的な代替手段を提供する。
本稿では、トークン生成モジュールが最初にHSIパッチを空間スペクトルトークンに変換する、空間スペクトル形態マンバ(MorpMamba)モデルを提案する。
これらのトークンはモルフォロジー演算によって処理され、奥行き分離可能な畳み込み演算を用いて構造情報と形状情報を計算する。
抽出された情報は、HSIサンプルの中心領域に基づいて空間トークンとスペクトルトークンを調整し、各ブロック内で効果的な情報融合を可能にする機能拡張モジュールで強化される。
その後、トークンはマルチヘッド自己アテンションによって洗練され、特徴空間をさらに改善する。
最後に、組み合わせた情報を状態空間ブロックに入力して、基底真理写像の分類と作成を行う。
広く使われているHSIデータセットの実験では、MorpMambaモデルはCNNモデルとTransformerモデルの両方で(パラメトリック効率)優れていた。
ソースコードは \url{https://github.com/MHassaanButt/MorpMamba} で公開されている。
関連論文リスト
- Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters [12.182070604073585]
CNNは、画像のセマンティック情報を完全に活用する能力を制限して、長距離依存のモデリングに苦労する。
変換器は二次計算の複雑さによって妨げられる。
本稿では,Mambaアーキテクチャに基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-09-12T10:01:33Z) - Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。
提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。
Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-08-19T17:48:11Z) - Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。
実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
論文 参考訳（メタデータ） (2024-08-01T15:14:10Z) - GraphMamba: An Efficient Graph Structure Learning Vision Mamba for Hyperspectral Image Classification [19.740333867168108]
GraphMambaは、深部空間スペクトル情報マイニングを実現するための効率的なグラフ構造学習ビジョンMamba分類フレームワークである。
GraphMambaのコアコンポーネントには、計算効率を改善するHyperMambaモジュールと、適応的な空間コンテキスト認識のためのSpectralGCNモジュールが含まれている。
論文 参考訳（メタデータ） (2024-07-11T07:56:08Z) - Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。
MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。
3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-20T13:19:02Z) - Spectral-Spatial Mamba for Hyperspectral Image Classification [23.215920983979426]
スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。
提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。
広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
論文 参考訳（メタデータ） (2024-04-29T03:36:05Z) - Simba: Mamba augmented U-ShiftGCN for Skeletal Action Recognition in Videos [3.8366697175402225]
スケルトン行動認識は、骨格関節座標とその相互接続を用いた人間の行動の同定を含む。
近年、新しい選択状態空間モデルであるMambaがトランスフォーマーのアテンションメカニズムの代替として浮上している。
Mambaを組み込んだ最初のSARフレームワークを提案する。このフレームワークは3つのよく知られたベンチマークスケルトン行動認識データセットに対して最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-04-11T11:07:57Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-02-05T16:39:12Z) - Learning Modulated Transformation in GANs [69.95217723100413]
生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。
MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。
挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
論文 参考訳（メタデータ） (2023-08-29T17:51:22Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-31T16:19:27Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳（メタデータ） (2022-03-09T16:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。