論文の概要: GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images

• arxiv url: http://arxiv.org/abs/2405.07777v1
• Date: Mon, 13 May 2024 14:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:25:43.161913
• Title: GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images
• Title（参考訳）: GMSR : RGB画像からのスペクトル再構成のためのグラディエントガイドマンバ
• Authors: Xinying Wang, Zhixiong Huang, Sifan Zhang, Jiawen Zhu, Lin Feng,
• Abstract要約: GMSR-Netは、大域的受容場と線形計算複雑性を特徴とする軽量モデルである。 最先端のパフォーマンスを実現しつつ、パラメータの数と計算負荷を著しく削減します。 既存のアプローチと比較して、GMSR-NetはパラメータとFLOPSをそれぞれ10倍と20倍のマージンで削減している。
• 参考スコア（独自算出の注目度）: 5.522841196179447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mainstream approaches to spectral reconstruction (SR) primarily focus on designing Convolution- and Transformer-based architectures. However, CNN methods often face challenges in handling long-range dependencies, whereas Transformers are constrained by computational efficiency limitations. Recent breakthroughs in state-space model (e.g., Mamba) has attracted significant attention due to its near-linear computational efficiency and superior performance, prompting our investigation into its potential for SR problem. To this end, we propose the Gradient-guided Mamba for Spectral Reconstruction from RGB Images, dubbed GMSR-Net. GMSR-Net is a lightweight model characterized by a global receptive field and linear computational complexity. Its core comprises multiple stacked Gradient Mamba (GM) blocks, each featuring a tri-branch structure. In addition to benefiting from efficient global feature representation by Mamba block, we further innovatively introduce spatial gradient attention and spectral gradient attention to guide the reconstruction of spatial and spectral cues. GMSR-Net demonstrates a significant accuracy-efficiency trade-off, achieving state-of-the-art performance while markedly reducing the number of parameters and computational burdens. Compared to existing approaches, GMSR-Net slashes parameters and FLOPS by substantial margins of 10 times and 20 times, respectively. Code is available at https://github.com/wxy11-27/GMSR.
• Abstract（参考訳）: スペクトル再構成(SR)への主流のアプローチは、主に畳み込みとトランスフォーマーに基づくアーキテクチャの設計に焦点を当てている。 しかし、CNN法は長距離依存を扱う際の問題に直面することが多いが、トランスフォーマーは計算効率の制限によって制約される。 最近の状態空間モデル(例えば、Mamba)のブレークスルーは、その線形に近い計算効率と優れた性能のために大きな注目を集めており、SR問題の可能性について調査している。 GMSR-Netと呼ばれるRGB画像からのスペクトル再構成のためのグラディエント誘導型マンバを提案する。 GMSR-Netは、大域的受容場と線形計算複雑性を特徴とする軽量モデルである。 コアは複数の積み重ねられたグラディエント・マンバ(GM)ブロックで構成され、それぞれがトリブランチ構造を備えている。 Mambaブロックによる効率的なグローバルな特徴表現の恩恵に加えて、空間的傾きの注意とスペクトル的傾きの注意を革新的に導入し、空間的およびスペクトル的手がかりの再構築を導く。 GMSR-Netは、高い精度と効率のトレードオフを示し、最先端の性能を実現しつつ、パラメータの数と計算負荷を著しく削減している。 既存のアプローチと比較して、GMSR-NetはパラメータとFLOPSをそれぞれ10倍と20倍のマージンで削減している。 コードはhttps://github.com/wxy11-27/GMSRで公開されている。

関連論文リスト

• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• CDXFormer: Boosting Remote Sensing Change Detection with Extended Long Short-Term Memory [7.926250735066206]
  本稿では,強力なXLSTMベースの機能拡張層であるコアコンポーネントを備えたCDXFormerを提案する。 我々は,意味的精度の高い深層機能用にカスタマイズされたクロステンポラルグローバルパーセプトロンを組み込んだ,スケール特異的な特徴エンハンサー層を導入する。 また,グローバルな変化表現と空間応答を段階的に相互作用するクロススケール・インタラクティブ・フュージョンモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:22:14Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model [7.842507196763463]
  IRSRMambaはマルチスケール適応のためのウェーブレット変換特徴変調を統合する新しいフレームワークである。 IRSRMambaはPSNR、SSIM、知覚品質において最先端の手法より優れている。 この研究は、高忠実度赤外線画像強調のための有望な方向として、Mambaベースのアーキテクチャを確立する。
  論文  参考訳（メタデータ） (2024-05-16T07:49:24Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• DVMSR: Distillated Vision Mamba for Efficient Super-Resolution [7.551130027327461]
  本研究では,ビジョン・マンバと蒸留戦略を組み込んだ新しい軽量画像SRネットワークであるDVMSRを提案する。 提案したDVMSRは,モデルパラメータの観点から,最先端の効率的なSR手法より優れている。
  論文  参考訳（メタデータ） (2024-05-05T17:34:38Z)
• Large-scale Global Low-rank Optimization for Computational Compressed Imaging [8.594666859332124]
  本稿では,グローバルな自己相似性と高効率な大規模再構成を実現するグローバル低ランク(GLR)最適化手法を提案する。 深層学習における自己認識機構に触発されたGLRは、従来の一様選択の代わりに特徴検出によって画像パッチを抽出する。 時間・周波数・スペクトル次元におけるGLRの有効性を実験的に実証した。
  論文  参考訳（メタデータ） (2023-01-08T14:12:51Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。