論文の概要: Model-Guided Network with Cluster-Based Operators for Spatio-Spectral Super-Resolution
- arxiv url: http://arxiv.org/abs/2505.24605v1
- Date: Fri, 30 May 2025 13:54:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.981987
- Title: Model-Guided Network with Cluster-Based Operators for Spatio-Spectral Super-Resolution
- Title(参考訳): 空間スペクトル超解法のためのクラスタベース演算子を用いたモデルガイドネットワーク
- Authors: Ivan Pereira-Sánchez, Julia Navarro, Ana Belén Petro, Joan Duran,
- Abstract要約: 論文は、低分解能マルチスペクトル観測から高分解能ハイパースペクトル像を再構成する問題に対処する。
本稿では,共同分光超分解能問題を空間超分解能,スペクトル超分解能,融合タスクに明示的に分解するエンドツーエンドフレームワークを提案する。
- 参考スコア(独自算出の注目度): 2.874893537471256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of reconstructing a high-resolution hyperspectral image from a low-resolution multispectral observation. While spatial super-resolution and spectral super-resolution have been extensively studied, joint spatio-spectral super-resolution remains relatively explored. We propose an end-to-end model-driven framework that explicitly decomposes the joint spatio-spectral super-resolution problem into spatial super-resolution, spectral super-resolution and fusion tasks. Each sub-task is addressed by unfolding a variational-based approach, where the operators involved in the proximal gradient iterative scheme are replaced with tailored learnable modules. In particular, we design an upsampling operator for spatial super-resolution based on classical back-projection algorithms, adapted to handle arbitrary scaling factors. Spectral reconstruction is performed using learnable cluster-based upsampling and downsampling operators. For image fusion, we integrate low-frequency estimation and high-frequency injection modules to combine the spatial and spectral information from spatial super-resolution and spectral super-resolution outputs. Additionally, we introduce an efficient nonlocal post-processing step that leverages image self-similarity by combining a multi-head attention mechanism with residual connections. Extensive evaluations on several datasets and sampling factors demonstrate the effectiveness of our approach. The source code will be available at https://github.com/TAMI-UIB/JSSUNet
- Abstract(参考訳): 本稿では,低分解能マルチスペクトル観測から高分解能ハイパースペクトル像を再構成する問題に対処する。
空間超解像とスペクトル超解像は広く研究されているが、連星・スペクトル超解像は相対的に研究されている。
本稿では,空間超解像,スペクトル超解像,融合タスクに共分散スペクトル超解像問題を明示的に分解するエンド・ツー・エンドのモデル駆動フレームワークを提案する。
各サブタスクは変分に基づくアプローチの展開によって対処され、近位勾配反復スキームに関わる演算子は、調整された学習可能なモジュールに置き換えられる。
特に,古典的バックプロジェクションアルゴリズムに基づく空間超解像のためのアップサンプリング演算子を設計し,任意のスケーリング係数に適応する。
スペクトル再構成は、学習可能なクラスタベースのアップサンプリングとダウンサンプリング演算子を用いて行われる。
画像融合では、低周波推定と高周波注入モジュールを統合し、空間超解像およびスペクトル超解像からの空間情報とスペクトル情報を結合する。
さらに,マルチヘッドアテンション機構と残差接続を組み合わせることで,画像の自己相似性を活用する効率的な非局所後処理手法を提案する。
いくつかのデータセットおよびサンプリング要因の広範囲な評価は、我々のアプローチの有効性を示している。
ソースコードはhttps://github.com/TAMI-UIB/JSSUNetで入手できる。
関連論文リスト
- A Fusion-Guided Inception Network for Hyperspectral Image Super-Resolution [4.487807378174191]
我々はFusion-Guided Inception Network (FGIN)と呼ばれる単一画像の超解像モデルを提案する。
具体的には、まずスペクトル空間融合モジュールを用いて、スペクトル情報と空間情報を効果的に統合する。
インセプションのような階層的特徴抽出戦略は、マルチスケール空間依存をキャプチャするために用いられる。
再構成品質をさらに向上するため,バイリニアと奥行き分離可能な畳み込みを組み合わせた最適化されたアップサンプリングモジュールを組み込んだ。
論文 参考訳(メタデータ) (2025-05-06T11:15:59Z) - Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning [15.86617273658407]
タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。
本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
論文 参考訳(メタデータ) (2024-09-15T08:58:26Z) - QMambaBSR: Burst Image Super-Resolution with Query State Space Model [55.56075874424194]
バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。
BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。
本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
論文 参考訳(メタデータ) (2024-08-16T11:15:29Z) - Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。
我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。
提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
論文 参考訳(メタデータ) (2024-02-04T09:07:28Z) - A Spectral Diffusion Prior for Hyperspectral Image Super-Resolution [14.405562058304074]
核融合型ハイパースペクトル像(HSI)は,低空間分解能HSIと高空間分解能マルチスペクトル像を融合させて高空間分解能HSIを作成することを目的としている。
拡散モデルの成功により,融合型HSI超解像に先立つ新しいスペクトル拡散法を提案する。
論文 参考訳(メタデータ) (2023-11-15T13:40:58Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:45:14Z) - A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for
Efficient Hyperspectral Image Super-resolution [3.1023808510465627]
GAN(Generative Adversarial Network)は画像超解像のための効果的なディープラーニングフレームワークであることが証明されている。
モード崩壊の問題を緩和するため,本研究では,潜在エンコーダ(LE-GAN)と組み合わせた新しいGANモデルを提案する。
LE-GANは、生成したスペクトル空間の特徴を画像空間から潜在空間にマッピングし、生成したサンプルを正規化するための結合成分を生成する。
論文 参考訳(メタデータ) (2021-11-16T18:40:19Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z) - Spatial-Spectral Residual Network for Hyperspectral Image
Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。
提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。
各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文 参考訳(メタデータ) (2020-01-14T03:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。