論文の概要: Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning
- arxiv url: http://arxiv.org/abs/2409.09670v1
- Date: Sun, 15 Sep 2024 08:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 19:48:24.049234
- Title: Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning
- Title（参考訳）: 空間スペクトルマニフォールド学習を用いた深部タッカー分解ネットワークに基づく教師なしハイパースペクトル・マルチスペクトル画像ブラインド融合
- Authors: He Wang, Yang Xu, Zebin Wu, Zhihui Wei,
- Abstract要約: タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。
本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
- 参考スコア（独自算出の注目度）: 15.86617273658407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral and multispectral image fusion aims to generate high spectral and spatial resolution hyperspectral images (HR-HSI) by fusing high-resolution multispectral images (HR-MSI) and low-resolution hyperspectral images (LR-HSI). However, existing fusion methods encounter challenges such as unknown degradation parameters, incomplete exploitation of the correlation between high-dimensional structures and deep image features. To overcome these issues, in this article, an unsupervised blind fusion method for hyperspectral and multispectral images based on Tucker decomposition and spatial spectral manifold learning (DTDNML) is proposed. We design a novel deep Tucker decomposition network that maps LR-HSI and HR-MSI into a consistent feature space, achieving reconstruction through decoders with shared parameter. To better exploit and fuse spatial-spectral features in the data, we design a core tensor fusion network that incorporates a spatial spectral attention mechanism for aligning and fusing features at different scales. Furthermore, to enhance the capacity in capturing global information, a Laplacian-based spatial-spectral manifold constraints is introduced in shared-decoders. Sufficient experiments have validated that this method enhances the accuracy and efficiency of hyperspectral and multispectral fusion on different remote sensing datasets. The source code is available at https://github.com/Shawn-H-Wang/DTDNML.
- Abstract（参考訳）: 高分解能マルチスペクトル画像(HR-MSI)と低分解能ハイパースペクトル画像(LR-HSI)を融合させて高スペクトル・空間分解能ハイパースペクトル画像(HR-HSI)を生成することを目的としている。
しかし、既存の融合法では、未知の劣化パラメータ、高次元構造と深部画像の特徴との相関の不完全な利用といった課題に直面している。
本稿では,タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。
我々は、LR-HSIとHR-MSIを一貫した特徴空間にマッピングし、共有パラメータを持つデコーダによる再構成を実現する、新しいディープタッカー分解ネットワークを設計する。
データ中の空間スペクトルの特徴をよりうまく活用し、融合するために、異なるスケールで特徴を整列・融合するための空間スペクトル注意機構を組み込んだコアテンソル融合ネットワークを設計する。
さらに,グローバルな情報の取得能力を高めるために,共有デコーダにラプラシアン系空間スペクトル多様体制約を導入する。
この手法がリモートセンシングデータセットにおけるハイパースペクトルとマルチスペクトル融合の精度と効率を向上させることが、十分な実験によって検証されている。
ソースコードはhttps://github.com/Shawn-H-Wang/DTDNMLで入手できる。
関連論文リスト
- HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。
特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。
スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
論文 参考訳（メタデータ） (2024-06-17T13:22:58Z) - Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。
我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。
提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-04T09:07:28Z) - Hyperspectral Image Reconstruction via Combinatorial Embedding of
Cross-Channel Spatio-Spectral Clues [6.580484964018551]
既存の学習に基づくハイパースペクトル再構成手法は、ハイパースペクトルバンド間の情報を完全に活用する際の限界を示す。
それぞれの超スペクトル空間における相互依存性について検討する。
これらの組み込み機能は、チャネル間相関をクエリすることで、完全に活用することができる。
論文 参考訳（メタデータ） (2023-12-18T11:37:19Z) - Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral
Image Super-Resolution [47.12985199570964]
超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。
具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。
3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-29T03:38:56Z) - Unsupervised Hyperspectral and Multispectral Images Fusion Based on the
Cycle Consistency [21.233354336608205]
本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。
CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する
いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2023-07-07T06:47:15Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳（メタデータ） (2023-06-14T09:01:50Z) - Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image
Super-Resolution with Subpixel Fusion [67.35540259040806]
サブピクセルレベルのHS超解像フレームワークを提案する。
名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。
我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
論文 参考訳（メタデータ） (2022-05-07T23:40:36Z) - Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image
Super-resolution [9.022005574190182]
低分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させるトランスフォーマーに基づくネットワークを設計する。
LR-HSIは主スペクトル構造を持つため、ネットワークは空間的詳細推定に重点を置いている。
様々な実験と品質指標は、他の最先端手法と比較して、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2021-09-05T14:00:34Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。