論文の概要: Spatial and Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2408.01372v3
- Date: Sat, 30 Nov 2024 13:24:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 16:55:02.425625
- Title: Spatial and Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification
- Title（参考訳）: ハイパースペクトル画像分類のための空間・空間スペクトル形態マンバ
- Authors: Muhammad Ahmad, Muhammad Hassaan Farooq Butt, Adil Mehmood Khan, Manuel Mazzara, Salvatore Distefano, Muhammad Usama, Swalpa Kumar Roy, Jocelyn Chanussot, Danfeng Hong,
- Abstract要約: 形態空間マンバ(SMM)モデルと形態空間スペクトルマンバ(SSMM)モデル(MorpMamba)を提案する。
MorpMambaは、形態的操作の強みと状態空間モデルフレームワークを組み合わせることで、トランスフォーマーのより効率的な代替手段を提供する。
広く使われているHSIデータセットの実験結果から、MorpMambaは従来のCNNやトランスフォーマーモデルよりも優れたパラメトリック効率を実現することが示された。
- 参考スコア（独自算出の注目度）: 27.943537708598306
- License:
- Abstract: Recent advancements in transformers, specifically self-attention mechanisms, have significantly improved hyperspectral image (HSI) classification. However, these models often suffer from inefficiencies, as their computational complexity scales quadratically with sequence length. To address these challenges, we propose the morphological spatial mamba (SMM) and morphological spatial-spectral Mamba (SSMM) model (MorpMamba), which combines the strengths of morphological operations and the state space model framework, offering a more computationally efficient alternative to transformers. In MorpMamba, a novel token generation module first converts HSI patches into spatial-spectral tokens. These tokens are then processed through morphological operations such as erosion and dilation, utilizing depthwise separable convolutions to capture structural and shape information. A token enhancement module refines these features by dynamically adjusting the spatial and spectral tokens based on central HSI regions, ensuring effective feature fusion within each block. Subsequently, multi-head self-attention is applied to further enrich the feature representations, allowing the model to capture complex relationships and dependencies within the data. Finally, the enhanced tokens are fed into a state space module, which efficiently models the temporal evolution of the features for classification. Experimental results on widely used HSI datasets demonstrate that MorpMamba achieves superior parametric efficiency compared to traditional CNN and transformer models while maintaining high accuracy. The code will be made publicly available at \url{https://github.com/mahmad000/MorpMamba}.
- Abstract（参考訳）: 近年の変圧器、特に自己注意機構の進歩は、高スペクトル画像(HSI)分類を大幅に改善した。
しかしながら、これらのモデルはしばしば非効率に悩まされる。
これらの課題に対処するために,形態的空間マンバ (SMM) と形態的空間スペクトルマンバ (SSMM) モデル (MorpMamba) を提案する。
MorpMambaでは、新しいトークン生成モジュールが最初にHSIパッチを空間分光トークンに変換する。
これらのトークンは、浸食や希釈などの形態操作によって処理され、深く分離可能な畳み込みを利用して構造情報や形状情報をキャプチャする。
トークン拡張モジュールは、中央HSI領域に基づいて空間トークンとスペクトルトークンを動的に調整することでこれらの特徴を洗練し、各ブロック内で効果的な特徴融合を保証する。
その後、マルチヘッドの自己注意を適用して特徴表現をさらに強化し、モデルがデータ内の複雑な関係や依存関係をキャプチャできるようにする。
最後に、拡張されたトークンは状態空間モジュールに供給され、分類のための機能の時間的進化を効率的にモデル化する。
広く使われているHSIデータセットの実験結果から,MorpMambaは従来のCNNやトランスフォーマーモデルよりも優れたパラメトリック効率を実現し,高精度を維持した。
コードは \url{https://github.com/mahmad000/MorpMamba} で公開されている。
関連論文リスト
- Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters [12.182070604073585]
CNNは、画像のセマンティック情報を完全に活用する能力を制限して、長距離依存のモデリングに苦労する。
変換器は二次計算の複雑さによって妨げられる。
本稿では,Mambaアーキテクチャに基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-09-12T10:01:33Z) - Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。
提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。
Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-08-19T17:48:11Z) - Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。
実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
論文 参考訳（メタデータ） (2024-08-01T15:14:10Z) - GraphMamba: An Efficient Graph Structure Learning Vision Mamba for Hyperspectral Image Classification [19.740333867168108]
GraphMambaは、深部空間スペクトル情報マイニングを実現するための効率的なグラフ構造学習ビジョンMamba分類フレームワークである。
GraphMambaのコアコンポーネントには、計算効率を改善するHyperMambaモジュールと、適応的な空間コンテキスト認識のためのSpectralGCNモジュールが含まれている。
論文 参考訳（メタデータ） (2024-07-11T07:56:08Z) - Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。
MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。
3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-20T13:19:02Z) - Spectral-Spatial Mamba for Hyperspectral Image Classification [23.215920983979426]
スペクトル空間マンバ(SS-Mamba)は高スペクトル画像(HSI)分類に適用される。
提案されたSS-マンバは、主にスペクトル空間トークン生成モジュールと、いくつかの積層スペクトル空間マンバブロックから構成される。
広く利用されているHSIデータセットを用いた実験結果から,提案モデルが競合する結果が得られることが明らかになった。
論文 参考訳（メタデータ） (2024-04-29T03:36:05Z) - Simba: Mamba augmented U-ShiftGCN for Skeletal Action Recognition in Videos [3.8366697175402225]
スケルトン行動認識は、骨格関節座標とその相互接続を用いた人間の行動の同定を含む。
近年、新しい選択状態空間モデルであるMambaがトランスフォーマーのアテンションメカニズムの代替として浮上している。
Mambaを組み込んだ最初のSARフレームワークを提案する。このフレームワークは3つのよく知られたベンチマークスケルトン行動認識データセットに対して最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-04-11T11:07:57Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳（メタデータ） (2024-02-05T16:39:12Z) - Learning Modulated Transformation in GANs [69.95217723100413]
生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。
MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。
挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
論文 参考訳（メタデータ） (2023-08-29T17:51:22Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-31T16:19:27Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳（メタデータ） (2022-03-09T16:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。