論文の概要: Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2405.04964v1
• Date: Wed, 8 May 2024 11:09:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:44:45.421097
• Title: Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution
• Title（参考訳）: リモートセンシング画像超解像のための周波数支援マンバ
• Authors: Yi Xiao, Qiangqiang Yuan, Kui Jiang, Yuzeng Chen, Qiang Zhang, Chia-Wen Lin,
• Abstract要約: 我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
• 参考スコア（独自算出の注目度）: 49.902047563260496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in remote sensing image (RSI) super-resolution (SR) has exhibited remarkable performance using deep neural networks, e.g., Convolutional Neural Networks and Transformers. However, existing SR methods often suffer from either a limited receptive field or quadratic computational overhead, resulting in sub-optimal global representation and unacceptable computational costs in large-scale RSI. To alleviate these issues, we develop the first attempt to integrate the Vision State Space Model (Mamba) for RSI-SR, which specializes in processing large-scale RSI by capturing long-range dependency with linear complexity. To achieve better SR reconstruction, building upon Mamba, we devise a Frequency-assisted Mamba framework, dubbed FMSR, to explore the spatial and frequent correlations. In particular, our FMSR features a multi-level fusion architecture equipped with the Frequency Selection Module (FSM), Vision State Space Module (VSSM), and Hybrid Gate Module (HGM) to grasp their merits for effective spatial-frequency fusion. Recognizing that global and local dependencies are complementary and both beneficial for SR, we further recalibrate these multi-level features for accurate feature fusion via learnable scaling adaptors. Extensive experiments on AID, DOTA, and DIOR benchmarks demonstrate that our FMSR outperforms state-of-the-art Transformer-based methods HAT-L in terms of PSNR by 0.11 dB on average, while consuming only 28.05% and 19.08% of its memory consumption and complexity, respectively.
• Abstract（参考訳）: リモートセンシング画像(RSI)の最近の進歩は、ディープニューラルネットワーク、例えば畳み込みニューラルネットワーク、トランスフォーマーを用いて顕著な性能を示した。 しかし、既存のSR法は、制限された受容場または二次計算オーバーヘッドに悩まされることが多く、その結果、大規模RSIにおいて、準最適大域表現と許容不可能な計算コストが生じる。 これらの問題を緩和するため、線形複雑度で長距離依存を捉えることで大規模RSI処理を専門とするRSI-SRのためのビジョン状態空間モデル(Mamba)を統合するための最初の試みを開発する。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを開発し,空間的・頻繁な相関関係を探索する。 特に、FMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層核融合アーキテクチャを特徴としている。 グローバルとローカルの依存関係は、SRにとって相補的かつ有益であることを認識し、学習可能なスケーリングアダプタを介して、これらのマルチレベル機能を正確な機能融合のために再検討する。 AID、DOTA、DIORベンチマークの大規模な実験により、FMSRは、それぞれのメモリ消費と複雑性の28.05%と19.08%しか消費せず、最先端のトランスフォーマーベースのHAT-Lを平均0.11dBで上回っていることが示された。

関連論文リスト

• Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
  本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。 提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-21T12:02:47Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion [17.084083262801737]
  MMR-MambaはMRI再建のためのマルチモーダル機能を完全にかつ効率的に統合する新しいフレームワークである。 具体的には,空間領域におけるTCM(Target modality-guided Cross Mamba)モジュールの設計を行う。 次に、フーリエ領域におけるグローバル情報を効率的に統合するための選択周波数融合(SFF)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-27T07:30:54Z)
• RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing [19.89130165954241]
  リモートセンシング画像デハージング(RSID)は、高品質な画像復元のための不均一かつ物理的に不規則なヘイズ要素を取り除くことを目的としている。 本稿では,RSID分野におけるRSDhambaと呼ばれるマンバモデル上での最初の軽量ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-16T12:12:07Z)
• GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images [6.437310105552873]
  GMSR-Netは、大域的受容場と線形計算複雑性を特徴とする軽量モデルである。 最先端のパフォーマンスを実現しつつ、パラメータの数と計算負荷を著しく削減します。 既存のアプローチと比較して、GMSR-NetはパラメータとFLOPSをそれぞれ10倍と20倍のマージンで削減している。
  論文  参考訳（メタデータ） (2024-05-13T14:21:54Z)
• Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution [46.32359056424278]
  大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。 カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。 本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。 NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:32:18Z)
• Recursive Generalization Transformer for Image Super-Resolution [108.67898547357127]
  本稿では,大域空間情報を捕捉し,高分解能画像に適した画像SRのための再帰一般化変換器(RGT)を提案する。 我々は,RG-SAと局所的自己意識を組み合わせることで,グローバルな文脈の活用を促進する。 我々のRGTは最近の最先端の手法よりも定量的に質的に優れている。
  論文  参考訳（メタデータ） (2023-03-11T10:44:44Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。