論文の概要: Unsupervised Pansharpening Based on Self-Attention Mechanism
- arxiv url: http://arxiv.org/abs/2006.09303v3
- Date: Sun, 30 Aug 2020 11:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 21:33:12.192258
- Title: Unsupervised Pansharpening Based on Self-Attention Mechanism
- Title（参考訳）: セルフアテンション機構に基づく教師なしパンシャープニング
- Authors: Ying Qu, Razieh Kaviani Baghbaderani, Hairong Qi, Chiman Kwan
- Abstract要約: 本稿では,自己注意機構(SAM)に基づく課題に対処する,深層学習フレームワークにおけるunsupervised pansharpening(UP)手法を提案する。
提案手法は, 最先端技術と比較して, より詳細でスペクトル歪みの少ない, 異なるタイプのシャープなMSIを再構築することができる。
- 参考スコア（独自算出の注目度）: 12.995590360954957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pansharpening is to fuse a multispectral image (MSI) of
low-spatial-resolution (LR) but rich spectral characteristics with a
panchromatic image (PAN) of high-spatial-resolution (HR) but poor spectral
characteristics. Traditional methods usually inject the extracted
high-frequency details from PAN into the up-sampled MSI. Recent deep learning
endeavors are mostly supervised assuming the HR MSI is available, which is
unrealistic especially for satellite images. Nonetheless, these methods could
not fully exploit the rich spectral characteristics in the MSI. Due to the wide
existence of mixed pixels in satellite images where each pixel tends to cover
more than one constituent material, pansharpening at the subpixel level becomes
essential. In this paper, we propose an unsupervised pansharpening (UP) method
in a deep-learning framework to address the above challenges based on the
self-attention mechanism (SAM), referred to as UP-SAM. The contribution of this
paper is three-fold. First, the self-attention mechanism is proposed where the
spatial varying detail extraction and injection functions are estimated
according to the attention representations indicating spectral characteristics
of the MSI with sub-pixel accuracy. Second, such attention representations are
derived from mixed pixels with the proposed stacked attention network powered
with a stick-breaking structure to meet the physical constraints of mixed pixel
formulations. Third, the detail extraction and injection functions are spatial
varying based on the attention representations, which largely improves the
reconstruction accuracy. Extensive experimental results demonstrate that the
proposed approach is able to reconstruct sharper MSI of different types, with
more details and less spectral distortion as compared to the state-of-the-art.
- Abstract（参考訳）: パンシャーペンは,低空間分解能 (LR) のマルチスペクトル像 (MSI) と高空間分解能 (HR) のパンクロマティック像 (PAN) とを融合させるがスペクトル特性は貧弱である。
従来の方法では通常、PANから抽出した高周波の詳細をアップサンプリングされたMSIに注入する。
近年のディープラーニングの取り組みは、HR MSIが利用可能であると仮定して、主に監督されている。
しかし、これらの手法はMSIのスペクトル特性を十分に活用できなかった。
各画素が複数の構成材料をカバーする傾向にある衛星画像に混合画素が存在するため、サブピクセルレベルでのパンシャーピングが不可欠となる。
本稿では, 自己認識機構(SAM)に基づいて, 深層学習フレームワークにおけるunsupervised pansharpening (UP)法を提案する。
本論文の貢献は3倍である。
まず,msiのスペクトル特性を示す注意表現に基づき,空間的な細部抽出・注入関数をサブピクセル精度で推定するセルフアテンション機構を提案する。
第2に,このような注意表現は,提案するスタック型注意ネットワークを用いた混合画素から導出され,混合画素の物理的制約を満たすためのスティック破断構造を有する。
第3に,注意表現に基づくディテール抽出とインジェクション関数の空間的変化により,復元精度が大幅に向上する。
大規模な実験結果から,提案手法は異なるタイプのシャープなMSIを,より詳細かつスペクトル歪みの少ない方法で再構築可能であることが示された。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。
特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。
スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
論文 参考訳（メタデータ） (2024-06-17T13:22:58Z) - CMT: Cross Modulation Transformer with Hybrid Loss for Pansharpening [14.459280238141849]
Pansharpeningは、高分解能パンクロマティック(PAN)とマルチスペクトル(MS)画像を組み合わせることで、リモートセンシング画像(RSI)の品質を高めることを目的としている。
従来の手法では、空間情報やスペクトル情報を改善するためにPANとMSの画像を最適に融合させるのに苦労していた。
注意機構を改良する先駆的手法であるCross Modulation Transformer(CMT)を提案する。
論文 参考訳（メタデータ） (2024-04-01T13:55:44Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Unsupervised Spectral Demosaicing with Lightweight Spectral Attention
Networks [6.7433262627741914]
本稿では、教師なしで訓練された深層学習に基づくスペクトル復調手法を提案する。
提案手法は, 空間歪み抑制, スペクトル忠実度, 頑健性, 計算コストの観点から, 従来の教師なし手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-05T02:45:44Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Hyperspectral Image Segmentation based on Graph Processing over
Multilayer Networks [51.15952040322895]
ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。
M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。
HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
論文 参考訳（メタデータ） (2021-11-29T23:28:18Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-15T16:59:48Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳（メタデータ） (2021-07-06T14:11:03Z) - Spatial-Spectral Manifold Embedding of Hyperspectral Data [43.479889860715275]
本稿では,空間情報とスペクトル情報を同時に考慮した新しいハイパースペクトル埋め込み手法を提案する。
空間スペクトル多様体埋め込み(SSME)は、パッチベースの方法で空間情報とスペクトル情報を共同でモデル化する。
SSMEは、スペクトルシグネチャ間の類似度測定によって得られた隣接行列を用いてスペクトル埋め込みを学習するだけでなく、ハイパースペクトルシーンにおける対象画素の空間近傍をモデル化する。
論文 参考訳（メタデータ） (2020-07-17T05:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。