論文の概要: Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction

• arxiv url: http://arxiv.org/abs/2111.07910v1
• Date: Mon, 15 Nov 2021 16:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 17:45:47.751298
• Title: Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction
• Title（参考訳）: ハイパースペクトル画像再構成のためのマスク誘導分光変換器
• Authors: Yuanhao Cai, Jing Lin, Xiaowan Hu, Haoqian Wang, Xin Yuan, Yulun Zhang, Radu Timofte, Luc Van Gool
• Abstract要約: ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 127.20208645280438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral image (HSI) reconstruction aims to recover the 3D spatial-spectral signal from a 2D measurement in the coded aperture snapshot spectral imaging (CASSI) system. The HSI representations are highly similar and correlated across the spectral dimension. Modeling the inter-spectra interactions is beneficial for HSI reconstruction. However, existing CNN-based methods show limitations in capturing spectral-wise similarity and long-range dependencies. Besides, the HSI information is modulated by a coded aperture (physical mask) in CASSI. Nonetheless, current algorithms have not fully explored the guidance effect of the mask for HSI restoration. In this paper, we propose a novel framework, Mask-guided Spectral-wise Transformer (MST), for HSI reconstruction. Specifically, we present a Spectral-wise Multi-head Self-Attention (S-MSA) that treats each spectral feature as a token and calculates self-attention along the spectral dimension. In addition, we customize a Mask-guided Mechanism (MM) that directs S-MSA to pay attention to spatial regions with high-fidelity spectral representations. Extensive experiments show that our MST significantly outperforms state-of-the-art (SOTA) methods on simulation and real HSI datasets while requiring dramatically cheaper computational and memory costs.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)再構成は,符号化開口分光画像(CASSI)システムにおける2次元計測から3次元空間スペクトル信号を復元することを目的としている。 HSI表現は非常に類似しており、スペクトル次元にわたって相関している。 スペクトル間相互作用のモデル化はhsi再構成に有用である。 しかし、既存のCNNベースの手法はスペクトル的類似性と長距離依存を捉える際の限界を示す。 さらに、HSI情報はCASSIの符号化開口(物理マスク)によって変調される。 それにもかかわらず、現在のアルゴリズムはHSI修復のためのマスクの誘導効果を十分に調べていない。 本稿では, マスク誘導型スペクトル変換器(mst)のhsi再構成のための新しい枠組みを提案する。 具体的には、各スペクトル特徴をトークンとして扱い、スペクトル次元に沿って自己アテンションを算出するスペクトルワイドマルチヘッド自己アテンション(S-MSA)を提案する。 また,マスク誘導機構(mm)をカスタマイズし,s-msaを高忠実なスペクトル表現を持つ空間領域に注意を向ける。 大規模実験の結果,mstはシミュレーションや実際のhsiデータセットに対する最先端(sota)手法を大幅に上回っており,計算コストやメモリコストは劇的に削減できることがわかった。

関連論文リスト

• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• 3DSS-Mamba: 3D-Spectral-Spatial Mamba for Hyperspectral Image Classification [14.341510793163138]
  HSI分類のための新しい3次元スペクトル空間マンバフレームワークを提案する。 3Dスペクトル-空間選択走査機構を導入し、3Dハイパースペクトルトークン上で画素ワイズ選択走査を行う。 実験結果と解析結果から,提案手法はHSI分類ベンチマークの最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-21T04:10:26Z)
• Spectral-wise Implicit Neural Representation for Hyperspectral Image Reconstruction [14.621504062838731]
  Coded Aperture Snapshot Spectral Imaging (CASSI) は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 HSIを再構成する既存の方法は、通常、2次元圧縮画像から所定の離散スペクトル帯域のセットへの学習マッピングを含む。 本稿では、この制限に対処するための先駆的なステップとして、スペクトルワイドインシシットニューラル表現(SINR)と呼ばれる革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-02T08:06:07Z)
• SS-MAE: Spatial-Spectral Masked Auto-Encoder for Multi-Source Remote Sensing Image Classification [35.52272615695294]
  本研究では,HSIとLiDAR/SARデータ共同分類のための空間スペクトルマスク付きオートエンコーダ(SS-MAE)を提案する。 我々のSS-MAEは入力データの空間的およびスペクトル的表現を完全に活用する。 訓練段階における局所的な特徴を補完するため、特徴抽出のために2つの軽量CNNを追加します。
  論文  参考訳（メタデータ） (2023-11-08T03:54:44Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Calibrated Hyperspectral Image Reconstruction via Graph-based Self-Tuning Network [40.71031760929464]
  ハイパースペクトルイメージング(HSI)は、特に符号化スナップショット分光イメージング(CASSI)システムに基づく画像に対して、研究の注目を集めている。 既存の深いHSI再構成モデルは、CASSIの特定の光学ハードウェアマスクが与える2次元圧縮計測に基づいて元の信号を取得するために、ペアデータで訓練される。 このマスク固有のトレーニングスタイルは、ハードウェアの誤校正問題を引き起こし、異なるハードウェアとノイズの多い環境間で深いHSIモデルをデプロイする障壁を設定できる。 マスクの空間構造の変化に適応する不確実性を推論するグラフベース自己調整(GST)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-31T09:39:13Z)
• Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks [51.15952040322895]
  ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。 M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。 HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T23:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。