論文の概要: Self-Learning Hyperspectral and Multispectral Image Fusion via Adaptive Residual Guided Subspace Diffusion Model
- arxiv url: http://arxiv.org/abs/2505.11800v1
- Date: Sat, 17 May 2025 03:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.854501
- Title: Self-Learning Hyperspectral and Multispectral Image Fusion via Adaptive Residual Guided Subspace Diffusion Model
- Title(参考訳): 適応残差誘導部分空間拡散モデルによる自己学習型ハイパースペクトル・マルチスペクトル画像融合
- Authors: Jian Zhu, He Wang, Yang Xu, Zebin Wu, Zhihui Wei,
- Abstract要約: ハイパースペクトル・マルチスペクトル画像(HSI-MSI)融合は、高分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を組み合わせて高分解能ハイパースペクトル画像(HR-HSI)を生成する。
- 参考スコア(独自算出の注目度): 17.94165288907444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral and multispectral image (HSI-MSI) fusion involves combining a low-resolution hyperspectral image (LR-HSI) with a high-resolution multispectral image (HR-MSI) to generate a high-resolution hyperspectral image (HR-HSI). Most deep learning-based methods for HSI-MSI fusion rely on large amounts of hyperspectral data for supervised training, which is often scarce in practical applications. In this paper, we propose a self-learning Adaptive Residual Guided Subspace Diffusion Model (ARGS-Diff), which only utilizes the observed images without any extra training data. Specifically, as the LR-HSI contains spectral information and the HR-MSI contains spatial information, we design two lightweight spectral and spatial diffusion models to separately learn the spectral and spatial distributions from them. Then, we use these two models to reconstruct HR-HSI from two low-dimensional components, i.e, the spectral basis and the reduced coefficient, during the reverse diffusion process. Furthermore, we introduce an Adaptive Residual Guided Module (ARGM), which refines the two components through a residual guided function at each sampling step, thereby stabilizing the sampling process. Extensive experimental results demonstrate that ARGS-Diff outperforms existing state-of-the-art methods in terms of both performance and computational efficiency in the field of HSI-MSI fusion. Code is available at https://github.com/Zhu1116/ARGS-Diff.
- Abstract(参考訳): ハイパースペクトル・マルチスペクトル画像(HSI-MSI)は、高分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を組み合わせて高分解能ハイパースペクトル画像(HR-HSI)を生成する。
HSI-MSI融合のための深層学習に基づくほとんどの手法は、教師あり訓練のための大量のハイパースペクトルデータに依存しており、実際的な応用は少ない。
本稿では,自己学習型適応Residual Residual Subspace Diffusion Model (ARGS-Diff)を提案する。
具体的には、LR-HSIはスペクトル情報を含み、HR-MSIは空間情報を含むため、スペクトルと空間分布を別々に学習するために2つの軽量スペクトルと空間拡散モデルを設計する。
そして, この2つのモデルを用いて, 逆拡散過程において, 低次元成分であるスペクトル基底と還元係数からHR-HSIを再構成する。
さらに,各サンプリングステップにおける残差ガイド関数によって2つのコンポーネントを洗練し,サンプリングプロセスを安定化させる適応残留ガイドモジュール (ARGM) を導入する。
ARGS-DiffはHSI-MSI融合の分野での性能と計算効率の両面で既存の最先端手法よりも優れていた。
コードはhttps://github.com/Zhu1116/ARGS-Diffで公開されている。
関連論文リスト
- A Fusion-Guided Inception Network for Hyperspectral Image Super-Resolution [4.487807378174191]
我々はFusion-Guided Inception Network (FGIN)と呼ばれる単一画像の超解像モデルを提案する。
具体的には、まずスペクトル空間融合モジュールを用いて、スペクトル情報と空間情報を効果的に統合する。
インセプションのような階層的特徴抽出戦略は、マルチスケール空間依存をキャプチャするために用いられる。
再構成品質をさらに向上するため,バイリニアと奥行き分離可能な畳み込みを組み合わせた最適化されたアップサンプリングモジュールを組み込んだ。
論文 参考訳(メタデータ) (2025-05-06T11:15:59Z) - CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion [9.3350274016294]
本稿では, HR-MSI/LR-HSI融合のための新しい知識蒸留(KD)フレームワークを導入し, LR-HSIのSRを実現する。
LR-HSI と HR-MSI の空間的特徴表現とスペクトル的特徴表現をフル活用するために,我々は新しい自己認識(CSA)融合モジュールを提案する。
実験結果から,学生モデルがLR-HSI SRの性能に匹敵する結果を得た。
論文 参考訳(メタデータ) (2024-06-28T05:25:57Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。
さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
論文 参考訳(メタデータ) (2024-06-17T13:22:58Z) - Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。
我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。
提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
論文 参考訳(メタデータ) (2024-02-04T09:07:28Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:45:14Z) - Hyperspectral and Multispectral Image Fusion Using the Conditional
Denoising Diffusion Probabilistic Model [18.915369996829984]
DDPM-Fus と呼ばれる条件付きデノナイジング拡散確率モデルに基づく深部融合法を提案する。
1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。
論文 参考訳(メタデータ) (2023-07-07T07:08:52Z) - Unsupervised Hyperspectral and Multispectral Images Fusion Based on the
Cycle Consistency [21.233354336608205]
本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。
CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する
いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
論文 参考訳(メタデータ) (2023-07-07T06:47:15Z) - DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for
Hyperspectral Image Restoration [103.79030498369319]
ハイパースペクトル画像復元のための自己教師付き拡散モデルを提案する。
textttDDS2Mは、既存の拡散法と比較して、より強力な一般化能力を持っている。
HSIのノイズ除去、ノイズ除去、様々なHSIの超解像実験は、既存のタスク固有状態よりもtextttDDS2Mの方が優れていることを示した。
論文 参考訳(メタデータ) (2023-03-12T14:57:04Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。