論文の概要: Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image
Super-Resolution with Subpixel Fusion
- arxiv url: http://arxiv.org/abs/2205.03742v1
- Date: Sat, 7 May 2022 23:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 17:09:35.932565
- Title: Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image
Super-Resolution with Subpixel Fusion
- Title（参考訳）: Decoupled-and-Coupled Networks:サブピクセル融合による自己監督ハイパースペクトル画像超解像
- Authors: Danfeng Hong, Jing Yao, Deyu Meng, Naoto Yokoya, Jocelyn Chanussot
- Abstract要約: サブピクセルレベルのHS超解像フレームワークを提案する。
名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。
我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
- 参考スコア（独自算出の注目度）: 67.35540259040806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enormous efforts have been recently made to super-resolve hyperspectral (HS)
images with the aid of high spatial resolution multispectral (MS) images. Most
prior works usually perform the fusion task by means of multifarious
pixel-level priors. Yet the intrinsic effects of a large distribution gap
between HS-MS data due to differences in the spatial and spectral resolution
are less investigated. The gap might be caused by unknown sensor-specific
properties or highly-mixed spectral information within one pixel (due to low
spatial resolution). To this end, we propose a subpixel-level HS
super-resolution framework by devising a novel decoupled-and-coupled network,
called DC-Net, to progressively fuse HS-MS information from the pixel- to
subpixel-level, from the image- to feature-level. As the name suggests, DC-Net
first decouples the input into common (or cross-sensor) and sensor-specific
components to eliminate the gap between HS-MS images before further fusion, and
then fully blends them by a model-guided coupled spectral unmixing (CSU) net.
More significantly, we append a self-supervised learning module behind the CSU
net by guaranteeing the material consistency to enhance the detailed
appearances of the restored HS product. Extensive experimental results show the
superiority of our method both visually and quantitatively and achieve a
significant improvement in comparison with the state-of-the-arts. Furthermore,
the codes and datasets will be available at
https://sites.google.com/view/danfeng-hong for the sake of reproducibility.
- Abstract（参考訳）: 近年,高空間分解能マルチスペクトル(ms)画像を用いた超高分解能ハイパースペクトル(hs)画像への多大な取り組みが行われている。
ほとんどの先行作品は、多彩なピクセルレベルのプリミティブを用いて融合タスクを実行する。
しかし,空間分解能とスペクトル分解能の差によるHS-MSデータの分布ギャップの増大による本質的な影響は少ない。
このギャップは、センサ固有の未知の特性や、1ピクセル(空間解像度の低いため)内でのスペクトル情報の混合によって生じる可能性がある。
そこで本研究では,dc-netと呼ばれる新しい分離結合ネットワークを考案し,画像レベルから特徴レベルまで,画素レベルからサブピクセルレベルへhs-ms情報を段階的に融合するサブピクセルレベルhsスーパーレゾリューションフレームワークを提案する。
名前が示すように、DC-Netは入力を共通の(またはクロスセンサー)コンポーネントとセンサー固有のコンポーネントに分離し、さらに融合する前にHS-MSイメージ間のギャップをなくし、モデル誘導結合スペクトルアンミックス(CSU)ネットでそれらを完全にブレンドする。
さらに,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
広汎な実験結果から,本手法の視覚的,定量的に優位性を示し,最先端技術との比較で有意な改善が得られた。
さらに、再現性のためにコードとデータセットはhttps://sites.google.com/view/danfeng-hongで入手できる。
関連論文リスト
- Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning [15.86617273658407]
タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。
本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
論文 参考訳（メタデータ） (2024-09-15T08:58:26Z) - QMambaBSR: Burst Image Super-Resolution with Query State Space Model [55.56075874424194]
バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。
BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。
本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
論文 参考訳（メタデータ） (2024-08-16T11:15:29Z) - Hyperspectral and Multispectral Image Fusion Using the Conditional
Denoising Diffusion Probabilistic Model [18.915369996829984]
DDPM-Fus と呼ばれる条件付きデノナイジング拡散確率モデルに基づく深部融合法を提案する。
1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。
論文 参考訳（メタデータ） (2023-07-07T07:08:52Z) - Unsupervised Hyperspectral and Multispectral Images Fusion Based on the
Cycle Consistency [21.233354336608205]
本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。
CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する
いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2023-07-07T06:47:15Z) - Deep Posterior Distribution-based Embedding for Hyperspectral Image
Super-resolution [75.24345439401166]
本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。
我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。
そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。
3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-05-30T06:59:01Z) - Superpixel Segmentation Based on Spatially Constrained Subspace
Clustering [57.76302397774641]
独立意味情報を持つ各代表領域を部分空間とみなし,部分空間クラスタリング問題としてスーパーピクセルセグメンテーションを定式化する。
従来のサブスペースクラスタリングとスーパーピクセルセグメンテーションの簡単な統合は,画素の空間相関のために効果的に機能しないことを示す。
本稿では,空間隣接画素に類似の属性を付加してスーパーピクセルにクラスタリング可能な,凸局所性制約付きサブスペースクラスタリングモデルを提案する。
論文 参考訳（メタデータ） (2020-12-11T06:18:36Z) - Spectral Superresolution of Multispectral Imagery with Joint Sparse and
Low-Rank Learning [29.834065415830764]
MS画像のスペクトル超解像 (SSR) は, 逆画像における高視差のため, 困難であり, あまり研究されていない。
重なり合う領域から低ランクのHS-MS辞書ペアを共同学習することにより,MS画像のスペクトル化を図る,ジョイントスパースとローランク学習(J-SLoL)と呼ばれるシンプルで効果的な手法を開発した。
論文 参考訳（メタデータ） (2020-07-28T06:08:44Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳（メタデータ） (2020-06-18T06:32:11Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。