論文の概要: MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction

• arxiv url: http://arxiv.org/abs/2204.07908v1
• Date: Sun, 17 Apr 2022 02:39:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 15:12:10.586439
• Title: MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction
• Title（参考訳）: MST++: 効率的なスペクトル再構成のための多段階分光変換器
• Authors: Yuanhao Cai, Jing Lin, Zudi Lin, Haoqian Wang, Yulun Zhang, Hanspeter Pfister, Radu Timofte, Luc Van Gool
• Abstract要約: 効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
• 参考スコア（独自算出の注目度）: 148.26195175240923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing leading methods for spectral reconstruction (SR) focus on designing deeper or wider convolutional neural networks (CNNs) to learn the end-to-end mapping from the RGB image to its hyperspectral image (HSI). These CNN-based methods achieve impressive restoration performance while showing limitations in capturing the long-range dependencies and self-similarity prior. To cope with this problem, we propose a novel Transformer-based method, Multi-stage Spectral-wise Transformer (MST++), for efficient spectral reconstruction. In particular, we employ Spectral-wise Multi-head Self-attention (S-MSA) that is based on the HSI spatially sparse while spectrally self-similar nature to compose the basic unit, Spectral-wise Attention Block (SAB). Then SABs build up Single-stage Spectral-wise Transformer (SST) that exploits a U-shaped structure to extract multi-resolution contextual information. Finally, our MST++, cascaded by several SSTs, progressively improves the reconstruction quality from coarse to fine. Comprehensive experiments show that our MST++ significantly outperforms other state-of-the-art methods. In the NTIRE 2022 Spectral Reconstruction Challenge, our approach won the First place. Code and pre-trained models are publicly available at https://github.com/caiyuanhao1998/MST-plus-plus.
• Abstract（参考訳）: 既存のスペクトル再構成(SR)では、より深いあるいはより広い畳み込みニューラルネットワーク(CNN)の設計に焦点を当て、RGBイメージからハイパースペクトルイメージ(HSI)へのエンドツーエンドマッピングを学習している。 これらのCNNベースの手法は、長い範囲の依存関係と自己相似性をキャプチャする際の制限を示しながら、印象的な復元性能を達成する。 そこで本研究では,新しい変圧器を用いたマルチステージスペクトルワイズ変圧器 (multi-stage spectral-wise transformer, mst++) を提案する。 特に,HSIの空間的疎度に基づくスペクトルワイド・マルチヘッド・セルフアテンション(S-MSA)を用いて,基本単位であるスペクトルワイド・アテンション・ブロック(SAB)を構成する。 次に、SABはU字型構造を利用してマルチ解像度のコンテキスト情報を抽出するSST(Single-stage Spectral-wise Transformer)を構築する。 最終的に、いくつかのSSTでカスケードされたMST++は、粗いものから細かいものへと、徐々に再構築品質を向上します。 総合的な実験により、我々のMST++は、他の最先端メソッドよりも大幅に優れています。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。 コードと事前訓練されたモデルはhttps://github.com/caiyuanhao1998/MST-plus-plusで公開されている。

関連論文リスト

• Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
  Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。 粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。 我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:15:12Z)
• DMSSN: Distilled Mixed Spectral-Spatial Network for Hyperspectral Salient Object Detection [12.823338405434244]
  HSOD(Hyperspectral Salient Object Detection)は,様々な用途において有望である。 特徴抽出過程における高スペクトル画像の特徴的特性(HSI)は,従来は不十分であった。 我々は、MSST(Distilled Spectral-Spatial Transformer)を含むDMSSN(Distilled Mixed Spectral-Spatial Network)を提案する。 この分野でのデータ不足の問題に対処するため、大規模なHSODデータセットHSOD-BITを作成しました。
  論文  参考訳（メタデータ） (2024-03-31T14:04:57Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• SST-ReversibleNet: Reversible-prior-based Spectral-Spatial Transformer for Efficient Hyperspectral Image Reconstruction [15.233185887461826]
  Reversible-prior-based methodと呼ばれる新しいフレームワークが提案されている。 ReversibleNetは、シミュレートされた実HSIデータセットの最先端メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-05-06T14:01:02Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。