論文の概要: Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction
- arxiv url: http://arxiv.org/abs/2107.02630v1
- Date: Tue, 6 Jul 2021 14:11:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 18:58:15.496419
- Title: Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction
- Title(参考訳): 深部画像の事前再構成と残余再構成によるハイパースペクトルパンシャープニング
- Authors: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M.
Patel
- Abstract要約: 高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
- 参考スコア(独自算出の注目度): 64.10636296274168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral pansharpening aims to synthesize a low-resolution hyperspectral
image (LR-HSI) with a registered panchromatic image (PAN) to generate an
enhanced HSI with high spectral and spatial resolution. Recently proposed HS
pansharpening methods have obtained remarkable results using deep convolutional
networks (ConvNets), which typically consist of three steps: (1) up-sampling
the LR-HSI, (2) predicting the residual image via a ConvNet, and (3) obtaining
the final fused HSI by adding the outputs from first and second steps. Recent
methods have leveraged Deep Image Prior (DIP) to up-sample the LR-HSI due to
its excellent ability to preserve both spatial and spectral information,
without learning from large data sets. However, we observed that the quality of
up-sampled HSIs can be further improved by introducing an additional
spatial-domain constraint to the conventional spectral-domain energy function.
We define our spatial-domain constraint as the $L_1$ distance between the
predicted PAN image and the actual PAN image. To estimate the PAN image of the
up-sampled HSI, we also propose a learnable spectral response function (SRF).
Moreover, we noticed that the residual image between the up-sampled HSI and the
reference HSI mainly consists of edge information and very fine structures. In
order to accurately estimate fine information, we propose a novel over-complete
network, called HyperKite, which focuses on learning high-level features by
constraining the receptive from increasing in the deep layers. We perform
experiments on three HSI datasets to demonstrate the superiority of our
DIP-HyperKite over the state-of-the-art pansharpening methods. The deployment
codes, pre-trained models, and final fusion outputs of our DIP-HyperKite and
the methods used for the comparisons will be publicly made available at
https://github.com/wgcban/DIP-HyperKite.git.
- Abstract(参考訳): ハイパースペクトルパノシャーペンは、低解像度のハイパースペクトル画像(LR-HSI)を登録されたパンクロマティック画像(PAN)で合成し、高スペクトル・空間解像度のHSIを生成することを目的としている。
近年提案されているhsパンシャープニング法は,(1)lr-hsiのアップサンプリング,(2)convnetによる残留画像の予測,(3)第1および第2ステップからの出力の追加による最終融合hsiの3段階からなる深い畳み込みネットワーク(convnets)を用いて顕著な結果を得た。
近年のDIP(Deep Image Prior)は,大規模なデータセットから学習することなく,空間情報とスペクトル情報の両方を保存できることから,LR-HSIのアップサンプリングに活用されている。
しかし,従来のスペクトル領域エネルギー関数に空間領域制約を付加することにより,アップサンプリングhsisの品質をさらに向上できることがわかった。
空間領域の制約を予測されたPAN画像と実際のPAN画像との距離$L_1$と定義する。
アップサンプリングされたHSIのPAN像を推定するために,学習可能なスペクトル応答関数(SRF)を提案する。
また,アップサンプリングしたhsiと参照hsiとの間の残像は,主にエッジ情報と非常に微細な構造から構成されていることに気付いた。
詳細な情報を正確に推定するために,深い層の増加を抑えることによって高レベルの特徴を学習することに焦点を当てた,HyperKiteと呼ばれる新しいオーバーコンプリートネットワークを提案する。
3つのHSIデータセットで実験を行い、最先端のパンシャーピング法よりもDIP-HyperKiteの方が優れていることを示す。
DIP-HyperKiteのデプロイコード、事前トレーニングされたモデル、最終融合出力、および比較に使用されるメソッドは、https://github.com/wgcban/DIP-HyperKite.gitで公開されます。
関連論文リスト
- Superpixel-based and Spatially-regularized Diffusion Learning for
Unsupervised Hyperspectral Image Clustering [4.643572021927615]
本稿では,新しい教師なしHSIクラスタリングアルゴリズム,スーパーピクセルベースおよび空間正規化拡散学習(S2DL)を提案する。
S2DLは、HSIに符号化された豊富な空間情報を拡散幾何学に基づくクラスタリングに組み込む。
S2DLのパフォーマンスは、公開されている実世界の3つのHSIに関する広範な実験で説明されている。
論文 参考訳(メタデータ) (2023-12-24T09:54:40Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳(メタデータ) (2022-07-29T03:09:21Z) - Deep Posterior Distribution-based Embedding for Hyperspectral Image
Super-resolution [75.24345439401166]
本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。
我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。
そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。
3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-05-30T06:59:01Z) - HyperTransformer: A Textural and Spectral Feature Fusion Transformer for
Pansharpening [60.89777029184023]
Pansharpeningは、登録された高分解能パノクロマトグラフィー画像(PAN)と低分解能ハイパースペクトル画像(LR-HSI)を融合して、高スペクトル・空間解像度の高分解能HSIを生成することを目的としている。
既存のパンシャルペン法は、HRテクスチャの特徴をPANからLR-HSIに伝達するアテンション機構を無視し、空間的およびスペクトル的歪みをもたらす。
本稿では, LR-HSI と PAN の特徴をそれぞれ変換器のクエリとキーとして定式化する HyperTransformer という, パンシャーピングのための新しいアテンション機構を提案する。
論文 参考訳(メタデータ) (2022-03-04T18:59:08Z) - Snapshot Hyperspectral Imaging Based on Weighted High-order Singular
Value Regularization [22.5033027930853]
スナップショットハイパースペクトルイメージングは、単一の2D測定で3Dハイパースペクトル画像(HSI)をキャプチャできます。
既存の復元方法は、3D HSIの構造的スペクトル空間的性質を完全に利用することはできない。
スナップショットハイパースペクトル画像の再構成精度を高めるために,高次テンソル最適化法を提案する。
論文 参考訳(メタデータ) (2021-01-22T02:54:55Z) - SLCRF: Subspace Learning with Conditional Random Field for Hyperspectral
Image Classification [13.541897463935305]
サブスペース学習(SL)は,高スペクトル画像(HSI)分類において重要な役割を担っている。
SLに関するこれまでの研究は、HSI認識の精度を向上させることを目的としていた。
条件付きランダムフィールド(SLCRF)を用いた部分空間学習(subspace learning)と呼ばれる確率仮定を含む新しいSL法を開発した。
論文 参考訳(メタデータ) (2020-10-07T02:25:32Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳(メタデータ) (2020-06-18T06:32:11Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。