論文の概要: ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution
- arxiv url: http://arxiv.org/abs/2307.14010v1
- Date: Wed, 26 Jul 2023 07:45:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 13:08:09.399913
- Title: ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution
- Title(参考訳): ESSAformer:ハイパースペクトル画像超解像のための効率的な変換器
- Authors: Mingjin Zhang, Chi Zhang, Qiming Zhang, Jie Guo, Xinbo Gao, Jing Zhang
- Abstract要約: 単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
- 参考スコア(独自算出の注目度): 76.7408734079706
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Single hyperspectral image super-resolution (single-HSI-SR) aims to restore a
high-resolution hyperspectral image from a low-resolution observation. However,
the prevailing CNN-based approaches have shown limitations in building
long-range dependencies and capturing interaction information between spectral
features. This results in inadequate utilization of spectral information and
artifacts after upsampling. To address this issue, we propose ESSAformer, an
ESSA attention-embedded Transformer network for single-HSI-SR with an iterative
refining structure. Specifically, we first introduce a robust and
spectral-friendly similarity metric, \ie, the spectral correlation coefficient
of the spectrum (SCC), to replace the original attention matrix and
incorporates inductive biases into the model to facilitate training. Built upon
it, we further utilize the kernelizable attention technique with theoretical
support to form a novel efficient SCC-kernel-based self-attention (ESSA) and
reduce attention computation to linear complexity. ESSA enlarges the receptive
field for features after upsampling without bringing much computation and
allows the model to effectively utilize spatial-spectral information from
different scales, resulting in the generation of more natural high-resolution
images. Without the need for pretraining on large-scale datasets, our
experiments demonstrate ESSA's effectiveness in both visual quality and
quantitative results.
- Abstract(参考訳): single hyperspectral image super- resolution (single-hsi-sr) は、低解像度の観測から高分解能のハイパースペクトル画像を復元することを目的としている。
しかし、CNNベースのアプローチは、長距離依存の構築とスペクトル特徴間の相互作用情報をキャプチャする際の制限を示している。
これにより、アップサンプリング後のスペクトル情報やアーティファクトの利用が不十分になる。
この問題に対処するために,単HSI-SR 用 ESSA attention-embedded Transformer ネットワークであるESSAformer を提案する。
具体的には、まず、スペクトルのスペクトル相関係数(SCC)である、頑健でスペクトルに親しみやすい類似度尺度である \ie を導入し、元の注意行列を置き換え、誘導バイアスをモデルに組み込んでトレーニングを容易にする。
そこで我々は,より効率的なSCCカーネル・セルフアテンション(ESSA)を構築し,注意計算を線形複雑性に還元する理論的支援により,カーネル化可能なアテンション手法をさらに活用する。
ESSAは、アップサンプリング後の特徴に対する受容領域を、多くの計算を伴わずに拡大し、異なるスケールの空間スペクトル情報を効果的に活用し、より自然な高解像度画像を生成する。
大規模なデータセットの事前トレーニングを必要とせず、我々の実験は、視覚的品質と定量的結果の両方においてESSAの有効性を実証した。
関連論文リスト
- Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral
Image Super-Resolution [47.12985199570964]
超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。
具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。
3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-29T03:38:56Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳(メタデータ) (2022-03-09T16:17:47Z) - Implicit Neural Representation Learning for Hyperspectral Image
Super-Resolution [0.0]
Inlicit Neural Representations (INR)は、新しい効果的な表現として進歩を遂げている。
本稿では、空間座標を対応するスペクトル放射率値にマッピングする連続関数により、HSIを表すINRに基づく新しいHSI再構成モデルを提案する。
論文 参考訳(メタデータ) (2021-12-20T14:07:54Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-15T16:59:48Z) - RRNet: Relational Reasoning Network with Parallel Multi-scale Attention
for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。
光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。
提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
論文 参考訳(メタデータ) (2021-10-27T07:18:32Z) - Spectral Response Function Guided Deep Optimization-driven Network for
Spectral Super-resolution [20.014293172511074]
本稿では、より深い空間スペクトルを持つ最適化駆動畳み込みニューラルネットワーク(CNN)を提案する。
自然およびリモートセンシング画像を含む2種類のデータセットに対する実験により,提案手法のスペクトル強調効果が示された。
論文 参考訳(メタデータ) (2020-11-19T07:52:45Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳(メタデータ) (2020-06-18T06:32:11Z) - Hyperspectral Image Super-resolution via Deep Spatio-spectral
Convolutional Neural Networks [32.10057746890683]
本稿では,高分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させる,深部畳み込みニューラルネットワークの簡易かつ効率的なアーキテクチャを提案する。
提案したネットワークアーキテクチャは,近年の最先端ハイパースペクトル画像の超解像化手法と比較して,最高の性能を達成している。
論文 参考訳(メタデータ) (2020-05-29T05:56:50Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。