論文の概要: Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2111.13923v1
• Date: Sat, 27 Nov 2021 15:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 08:52:41.457547
• Title: Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution
• Title（参考訳）: ハイパースペクトル画像超解像に先立つ3D-CNNと変圧器の学習
• Authors: Qing Ma and Junjun Jiang and Xianming Liu and Jiayi Ma
• Abstract要約: 本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
• 参考スコア（独自算出の注目度）: 80.93870349019332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To solve the ill-posed problem of hyperspectral image super-resolution (HSISR), an usually method is to use the prior information of the hyperspectral images (HSIs) as a regularization term to constrain the objective function. Model-based methods using hand-crafted priors cannot fully characterize the properties of HSIs. Learning-based methods usually use a convolutional neural network (CNN) to learn the implicit priors of HSIs. However, the learning ability of CNN is limited, it only considers the spatial characteristics of the HSIs and ignores the spectral characteristics, and convolution is not effective for long-range dependency modeling. There is still a lot of room for improvement. In this paper, we propose a novel HSISR method that uses Transformer instead of CNN to learn the prior of HSIs. Specifically, we first use the proximal gradient algorithm to solve the HSISR model, and then use an unfolding network to simulate the iterative solution processes. The self-attention layer of Transformer makes it have the ability of spatial global interaction. In addition, we add 3D-CNN behind the Transformer layers to better explore the spatio-spectral correlation of HSIs. Both quantitative and visual results on two widely used HSI datasets and the real-world dataset demonstrate that the proposed method achieves a considerable gain compared to all the mainstream algorithms including the most competitive conventional methods and the recently proposed deep learning-based methods.
• Abstract（参考訳）: ハイパースペクトル画像超解像(HSISR)の不正な問題を解決するために、通常、ハイパースペクトル画像(HSI)の事前情報を正規化語として使用して目的関数を制約する。 手作りの先行値を用いたモデルに基づく手法は、HSIの特性を完全に特徴づけることができない。 学習ベースの手法は通常、HSIの暗黙の事前学習に畳み込みニューラルネットワーク(CNN)を使用する。 しかし、cnnの学習能力は限られており、hsisの空間特性のみを考慮し、スペクトル特性を無視し、畳み込みは長距離依存性モデリングには有効ではない。 まだ改善の余地はたくさんあります。 本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まずHSISRモデルを解くために近似勾配アルゴリズムを使用し、次に展開ネットワークを用いて反復解過程をシミュレートする。 Transformerの自己アテンション層は、空間的グローバルな相互作用を可能にする。 さらにトランスフォーマー層に3D-CNNを加えて、HSIの時空間相関をよりよく調べる。 2つの広く使われているhsiデータセットと実世界のデータセットの定量的および視覚的な結果は、最も競争の激しい従来の方法や最近提案された深層学習に基づく方法を含む全ての主流アルゴリズムと比較して、提案手法が相当な向上を達成していることを示している。

関連論文リスト

• Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
  Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。 粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。 我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:15:12Z)
• Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images [64.72242126879503]
  ハイパースペクトル画像(HSI)クラスタリングは重要な課題だが難しい課題である。 まず3次元と2次元のハイブリッド畳み込みニューラルネットワークを用いてHSIの高次空間およびスペクトルの特徴を抽出する。 次に,超画素グラフの対比クラスタリングモデルを設計し,識別的超画素表現を学習する。
  論文  参考訳（メタデータ） (2024-03-04T07:40:55Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classificationtion [14.33259265286265]
  本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。 マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
  論文  参考訳（メタデータ） (2022-03-09T14:42:26Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Deep Gaussian Scale Mixture Prior for Spectral Compressive Imaging [48.34565372026196]
  本稿では,ポストリア(MAP)推定フレームワークに基づく新しいHSI再構成手法を提案する。 また,深層畳み込みニューラルネットワーク(DCNN)によるGSMモデルの局所平均の推定も提案する。
  論文  参考訳（メタデータ） (2021-03-12T08:57:06Z)
• Hyperspectral Image Classification with Spatial Consistence Using Fully Convolutional Spatial Propagation Network [9.583523548244683]
  深部畳み込みニューラルネットワーク(CNN)は、高スペクトル画像(HSI)を表現できる印象的な能力を示している 本稿では,HSI分類のための新しいエンドツーエンドの画素間完全畳み込み空間伝搬ネットワーク(FCSPN)を提案する。 FCSPNは3次元完全畳み込みネットワーク(3D-FCN)と畳み込み空間伝播ネットワーク(CSPN)からなる。
  論文  参考訳（メタデータ） (2020-08-04T09:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。