論文の概要: Hyperspectral and multispectral image fusion with arbitrary resolution through self-supervised representations
- arxiv url: http://arxiv.org/abs/2405.17818v2
- Date: Mon, 25 Nov 2024 14:24:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:14:28.477203
- Title: Hyperspectral and multispectral image fusion with arbitrary resolution through self-supervised representations
- Title（参考訳）: 自己教師付き表現による任意の分解能を有するハイパースペクトル・マルチスペクトル画像融合
- Authors: Ting Wang, Zipei Yan, Jizhou Li, Xile Zhao, Chao Wang, Michael Ng,
- Abstract要約: 本稿では,2つのニューラル表現を行列因子化に組み込むことにより,新しい連続低ランク因子化(CLoRF)を提案する。
提案手法は,行列分解による低ランク化と神経表現による連続性の両方を自己教師的手法で利用することができる。
- 参考スコア（独自算出の注目度）: 23.04458119996
- License:
- Abstract: The fusion of a low-resolution hyperspectral image (LR-HSI) with a high-resolution multispectral image (HR-MSI) has emerged as an effective technique for achieving HSI super-resolution (SR). Previous studies have mainly concentrated on estimating the posterior distribution of the latent high-resolution hyperspectral image (HR-HSI), leveraging an appropriate image prior and likelihood computed from the discrepancy between the latent HSI and observed images. Low rankness stands out for preserving latent HSI characteristics through matrix factorization among the various priors. However, the primary limitation in previous studies lies in the generalization of a fusion model with fixed resolution scales, which necessitates retraining whenever output resolutions are changed. To overcome this limitation, we propose a novel continuous low-rank factorization (CLoRF) by integrating two neural representations into the matrix factorization, capturing spatial and spectral information, respectively. This approach enables us to harness both the low rankness from the matrix factorization and the continuity from neural representation in a self-supervised manner.Theoretically, we prove the low-rank property and Lipschitz continuity in the proposed continuous low-rank factorization. Experimentally, our method significantly surpasses existing techniques and achieves user-desired resolutions without the need for neural network retraining. Code is available at https://github.com/wangting1907/CLoRF-Fusion.
- Abstract（参考訳）: 高分解能マルチスペクトル像 (HR-MSI) と低分解能ハイパースペクトル像 (LR-HSI) の融合は, HSI超解像 (SR) の実現に有効な手法である。
従来の研究は主に、潜時高分解能ハイパースペクトル像(HR-HSI)の後方分布を推定することに集中しており、潜時高分解能高分解能画像と観測画像との差から計算された適切な画像の事前及び可能性を活用している。
低位は, 行列分解による潜在HSI特性の保存に際し顕著である。
しかし、以前の研究の主要な制限は、出力解像度が変更されるたびに再学習を必要とする固定解像度スケールの融合モデルの一般化にある。
この制限を克服するために,2つのニューラル表現を行列分解に統合し,空間情報とスペクトル情報をキャプチャすることで,新しい連続低ランク分解(CLoRF)を提案する。
提案手法は, 行列分解による低階度と, 神経表現による連続性の両方を自己指導的に利用し, 理論的には, 提案された連続的低階分解における低階特性とリプシッツ連続性を証明する。
実験では,ニューラルネットワークの再トレーニングを必要とせず,既存の手法をはるかに超え,ユーザの求める解像度を実現する。
コードはhttps://github.com/wangting1907/CLoRF-Fusion.comで入手できる。
関連論文リスト
- Learning Two-factor Representation for Magnetic Resonance Image Super-resolution [1.294284364022674]
2要素表現に基づくMR画像超解像法を提案する。
具体的には、強度信号を学習可能な基底と係数の線形結合に分解する。
提案手法は最先端の性能を達成し,より優れた視覚的忠実度とロバスト性を実現する。
論文 参考訳（メタデータ） (2024-09-15T13:32:24Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - A Spectral Diffusion Prior for Hyperspectral Image Super-Resolution [14.405562058304074]
核融合型ハイパースペクトル像(HSI)は,低空間分解能HSIと高空間分解能マルチスペクトル像を融合させて高空間分解能HSIを作成することを目的としている。
拡散モデルの成功により,融合型HSI超解像に先立つ新しいスペクトル拡散法を提案する。
論文 参考訳（メタデータ） (2023-11-15T13:40:58Z) - Hyperspectral Image Fusion via Logarithmic Low-rank Tensor Ring
Decomposition [26.76968345244154]
TR因子の低ランク性をTNNの観点から検討し,各TR因子のモード2対数TNN(LTNN)を考慮する。
このLTNN正則化と重み付き全変動を取り入れた新しい融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-16T04:02:34Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Semantic Encoder Guided Generative Adversarial Face Ultra-Resolution
Network [15.102899995465041]
本稿では,セマンティックガイド付き生成逆顔超解像ネットワーク(SEGA-FURN)を提案する。
提案するネットワークは, 組込みセマンティクスを捕捉し, 対数学習を誘導する新しいセマンティクスエンコーダと, Residual in Internal Block (RIDB) という階層型アーキテクチャを用いた新しいジェネレータから構成される。
大規模顔データを用いた実験により,提案手法は優れた超解像結果が得られ,定性比較と定量的比較の両面で他の最先端手法よりも優れることが示された。
論文 参考訳（メタデータ） (2022-11-18T23:16:57Z) - HDNet: High-resolution Dual-domain Learning for Spectral Compressive
Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。
一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。
一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文 参考訳（メタデータ） (2022-03-04T06:37:45Z) - Hierarchical Conditional Flow: A Unified Framework for Image
Super-Resolution and Image Rescaling [139.25215100378284]
画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。
HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。
さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
論文 参考訳（メタデータ） (2021-08-11T16:11:01Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳（メタデータ） (2020-06-18T06:32:11Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。