論文の概要: GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images

• arxiv url: http://arxiv.org/abs/2405.07777v2
• Date: Wed, 09 Oct 2024 11:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:26:46.011339
• Title: GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images
• Title（参考訳）: GMSR : RGB画像からのスペクトル再構成のためのグラディエントガイドマンバ
• Authors: Xinying Wang, Zhixiong Huang, Sifan Zhang, Jiawen Zhu, Paolo Gamba, Lin Feng,
• Abstract要約: GMSR-Netは、大域的受容場と線形計算複雑性を特徴とする軽量モデルである。 最先端のパフォーマンスを実現しつつ、パラメータの数と計算負荷を著しく削減します。 既存のアプローチと比較して、GMSR-NetはパラメータとFLOPSをそれぞれ10倍と20倍のマージンで削減している。
• 参考スコア（独自算出の注目度）: 6.437310105552873
• License:
• Abstract: Mainstream approaches to spectral reconstruction (SR) primarily focus on designing Convolution- and Transformer-based architectures. However, CNN methods often face challenges in handling long-range dependencies, whereas Transformers are constrained by computational efficiency limitations. Recent breakthroughs in state-space model (e.g., Mamba) has attracted significant attention due to its near-linear computational efficiency and superior performance, prompting our investigation into its potential for SR problem. To this end, we propose the Gradient-guided Mamba for Spectral Reconstruction from RGB Images, dubbed GMSR-Net. GMSR-Net is a lightweight model characterized by a global receptive field and linear computational complexity. Its core comprises multiple stacked Gradient Mamba (GM) blocks, each featuring a tri-branch structure. In addition to benefiting from efficient global feature representation by Mamba block, we further innovatively introduce spatial gradient attention and spectral gradient attention to guide the reconstruction of spatial and spectral cues. GMSR-Net demonstrates a significant accuracy-efficiency trade-off, achieving state-of-the-art performance while markedly reducing the number of parameters and computational burdens. Compared to existing approaches, GMSR-Net slashes parameters and FLOPS by substantial margins of 10 times and 20 times, respectively. Code is available at https://github.com/wxy11-27/GMSR.
• Abstract（参考訳）: スペクトル再構成(SR)への主流のアプローチは、主に畳み込みとトランスフォーマーに基づくアーキテクチャの設計に焦点を当てている。 しかし、CNN法は長距離依存を扱う際の問題に直面することが多いが、トランスフォーマーは計算効率の制限によって制約される。 最近の状態空間モデル(例えば、Mamba)のブレークスルーは、その線形に近い計算効率と優れた性能のために大きな注目を集めており、SR問題の可能性について調査している。 GMSR-Netと呼ばれるRGB画像からのスペクトル再構成のためのグラディエント誘導型マンバを提案する。 GMSR-Netは、大域的受容場と線形計算複雑性を特徴とする軽量モデルである。 コアは複数の積み重ねられたグラディエント・マンバ(GM)ブロックで構成され、それぞれがトリブランチ構造を備えている。 Mambaブロックによる効率的なグローバルな特徴表現の恩恵に加えて、空間的傾きの注意とスペクトル的傾きの注意を革新的に導入し、空間的およびスペクトル的手がかりの再構築を導く。 GMSR-Netは、高い精度と効率のトレードオフを示し、最先端の性能を実現しつつ、パラメータの数と計算負荷を著しく削減している。 既存のアプローチと比較して、GMSR-NetはパラメータとFLOPSをそれぞれ10倍と20倍のマージンで削減している。 コードはhttps://github.com/wxy11-27/GMSRで公開されている。

関連論文リスト

• CDXFormer: Boosting Remote Sensing Change Detection with Extended Long Short-Term Memory [3.119836924407993]
  我々は,XLSTMに基づく空間拡張層であるコアコンポーネントを備えたCDXFormerを提案する。 我々は,意味的精度の高い深層機能用にカスタマイズされたクロステンポラルグローバルパーセプトロンを組み込んだ,スケール特異的な特徴エンハンサー層を導入する。 また,グローバルな変化表現と応答を段階的に相互作用するクロススケール・インタラクティブ・フュージョンモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:22:14Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• DVMSR: Distillated Vision Mamba for Efficient Super-Resolution [7.551130027327461]
  本研究では,ビジョン・マンバと蒸留戦略を組み込んだ新しい軽量画像SRネットワークであるDVMSRを提案する。 提案したDVMSRは,モデルパラメータの観点から,最先端の効率的なSR手法より優れている。
  論文  参考訳（メタデータ） (2024-05-05T17:34:38Z)
• Binarized Spectral Compressive Imaging [59.18636040850608]
  ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。 本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。 BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
  論文  参考訳（メタデータ） (2023-05-17T15:36:08Z)
• Large-scale Global Low-rank Optimization for Computational Compressed Imaging [8.594666859332124]
  本稿では,グローバルな自己相似性と高効率な大規模再構成を実現するグローバル低ランク(GLR)最適化手法を提案する。 深層学習における自己認識機構に触発されたGLRは、従来の一様選択の代わりに特徴検出によって画像パッチを抽出する。 時間・周波数・スペクトル次元におけるGLRの有効性を実験的に実証した。
  論文  参考訳（メタデータ） (2023-01-08T14:12:51Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。