論文の概要: SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising
- arxiv url: http://arxiv.org/abs/2405.01726v6
- Date: Thu, 20 Jun 2024 07:31:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 04:08:57.222543
- Title: SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising
- Title(参考訳): SSUMamba:ハイパースペクトル画像復調のための空間スペクトル選択状態空間モデル
- Authors: Guanyiman Fu, Fengchao Xiong, Jianfeng Lu, Jun Zhou,
- Abstract要約: HSI復調のためのメモリ効率の良い空間スペクトル(SSUMamba)を導入する。
Mambaは、その顕著な長距離依存性モデリング機能で知られている。
SSUMambaは、トランスフォーマーベースの手法に比べて、バッチ当たりのメモリ消費が低い優れたデノナイズ結果が得られる。
- 参考スコア(独自算出の注目度): 13.1240990099267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising is a crucial preprocessing step for hyperspectral images (HSIs) due to noise arising from intraimaging mechanisms and environmental factors. Long-range spatial-spectral correlation modeling is beneficial for HSI denoising but often comes with high computational complexity. Based on the state space model (SSM), Mamba is known for its remarkable long-range dependency modeling capabilities and computational efficiency. Building on this, we introduce a memory-efficient spatial-spectral UMamba (SSUMamba) for HSI denoising, with the spatial-spectral continuous scan (SSCS) Mamba being the core component. SSCS Mamba alternates the row, column, and band in six different orders to generate the sequence and uses the bidirectional SSM to exploit long-range spatial-spectral dependencies. In each order, the images are rearranged between adjacent scans to ensure spatial-spectral continuity. Additionally, 3D convolutions are embedded into the SSCS Mamba to enhance local spatial-spectral modeling. Experiments demonstrate that SSUMamba achieves superior denoising results with lower memory consumption per batch compared to transformer-based methods. The source code is available at https://github.com/lronkitty/SSUMamba.
- Abstract(参考訳): デノナイジングは、画像内メカニズムや環境要因から生じるノイズにより、ハイパースペクトル画像(HSI)にとって重要な前処理ステップである。
長距離空間-スペクトル相関モデリングは、HSIの分解に有用であるが、しばしば高い計算複雑性を伴う。
状態空間モデル(SSM)に基づいて、Mambaはその顕著な長距離依存性モデリング機能と計算効率で知られている。
そこで本研究では,HSI復調のためのメモリ効率の高い空間スペクトルUMamba(SSUMamba)を導入し,空間スペクトル連続走査(SSCS)Mambaをコアコンポーネントとした。
SSCS Mambaは行、列、バンドを6つの異なる順序で交換してシーケンスを生成し、双方向SSMを使用して長距離空間スペクトル依存性を利用する。
各順序で、画像は隣接したスキャン間で再配置され、空間スペクトルの連続性を保証する。
さらに、3D畳み込みは局所空間スペクトルモデリングを強化するためにSSCS Mambaに埋め込まれる。
実験により、SSUMambaは、トランスフォーマーベースの手法に比べて、バッチ当たりのメモリ消費が低い優れたデノナイジング結果が得られることが示された。
ソースコードはhttps://github.com/lronkitty/SSUMamba.comで入手できる。
関連論文リスト
- Spatial-Mamba: Effective Visual State Space Models via Structure-Aware State Fusion [46.82975707531064]
SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。
本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。
画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
論文 参考訳(メタデータ) (2024-10-19T12:56:58Z) - Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。
実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
論文 参考訳(メタデータ) (2024-08-01T15:14:10Z) - Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging [102.35787741640749]
本稿では,グローバルな長距離依存関係と局所的コンテキストの両方を探索し,効率的なHSI再構成を実現するために,DHM(Dual Hyperspectral Mamba)を提案する。
具体的には、DHMは複数の双対超スペクトルS4ブロック(DHSB)から構成され、元のHSIを復元する。
論文 参考訳(メタデータ) (2024-06-01T14:14:40Z) - HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising [11.022546457796949]
本研究では,HSIにおける空間スペクトル依存性を効果的に捉えるために,線形複雑性を利用したHSIDMamba(HSDM)を提案する。
HSDMは複数のハイパースペクトル連続走査ブロックから構成され、BCSM(Bidirectional Continuous Scanning Mechanism)、スケール残留、スペクトル注意機構が組み込まれている。
BCSMは、前向きと後向きのスキャンをリンクし、SSMを介して8方向の情報を強化することにより、空間-スペクトル相互作用を強化する。
論文 参考訳(メタデータ) (2024-04-15T11:59:19Z) - SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。
我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。
SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
論文 参考訳(メタデータ) (2024-04-12T14:12:03Z) - Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。
ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。
主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
論文 参考訳(メタデータ) (2024-03-15T07:18:43Z) - Spectral Enhanced Rectangle Transformer for Hyperspectral Image
Denoising [64.11157141177208]
ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。
前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。
後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
論文 参考訳(メタデータ) (2023-04-03T09:42:13Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳(メタデータ) (2022-03-09T16:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。