論文の概要: Unsupervised Pansharpening via Low-rank Diffusion Model
- arxiv url: http://arxiv.org/abs/2305.10925v1
- Date: Thu, 18 May 2023 12:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 15:26:46.261183
- Title: Unsupervised Pansharpening via Low-rank Diffusion Model
- Title（参考訳）: 低ランク拡散モデルによる教師なしパンシャープ化
- Authors: Xiangyu Rui, Xiangyong Cao, Zeyu Zhu, Zongsheng Yue, and Deyu Meng
- Abstract要約: パンシャーペニング(英: Pansharpening)は、高分解能パンクロマトグラフィー(PAN)画像と低分解能マルチスペクトル(LRMS)画像を融合する過程である。
既存のディープラーニングベースのパンシャーピング手法のほとんどは、一般化能力が乏しい。
本稿では,拡散モデルと低ランク行列分解法を組み合わせることにより,教師なしパンシュハーペン法を提案する。
- 参考スコア（独自算出の注目度）: 41.03596269241934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pansharpening is a process of merging a highresolution panchromatic (PAN)
image and a low-resolution multispectral (LRMS) image to create a single
high-resolution multispectral (HRMS) image. Most of the existing deep
learningbased pansharpening methods have poor generalization ability and the
traditional model-based pansharpening methods need careful manual exploration
for the image structure prior. To alleviate these issues, this paper proposes
an unsupervised pansharpening method by combining the diffusion model with the
low-rank matrix factorization technique. Specifically, we assume that the HRMS
image is decomposed into the product of two low-rank tensors, i.e., the base
tensor and the coefficient matrix. The base tensor lies on the image field and
has low spectral dimension, we can thus conveniently utilize a pre-trained
remote sensing diffusion model to capture its image structures. Additionally,
we derive a simple yet quite effective way to preestimate the coefficient
matrix from the observed LRMS image, which preserves the spectral information
of the HRMS. Extensive experimental results on some benchmark datasets
demonstrate that our proposed method performs better than traditional
model-based approaches and has better generalization ability than deep
learning-based techniques. The code is released in
https://github.com/xyrui/PLRDiff.
- Abstract（参考訳）: pansharpeningは、高解像度のpanchromatic (pan) イメージと低解像度のmultispectral (lrms) イメージをマージして、単一の高解像度のmultispectral (hrms) イメージを作成するプロセスである。
既存のディープラーニングベースのパンシャープ法の多くは一般化能力に乏しく、従来のモデルベースのパンシャープ法では以前の画像構造を慎重に手動で探索する必要がある。
そこで本稿では, 拡散モデルと低ランク行列因子分解法を組み合わせることにより, 教師なしパンシャープ化法を提案する。
具体的には、HRMS像を2つの低ランクテンソル、すなわち基底テンソルと係数行列の積に分解すると仮定する。
ベーステンソルはイメージフィールド上に置かれ、スペクトル次元が低いため、トレーニング済みのリモートセンシング拡散モデルを用いて画像構造を捉えることができる。
さらに,HRMSのスペクトル情報を保存するために,観測されたLRMS画像から係数行列を推定する簡単な手法を導出する。
提案手法は従来のモデルベース手法よりも優れた性能を示し,ディープラーニング手法よりも優れた一般化能力を有する。
コードはhttps://github.com/xyrui/plrdiffでリリースされる。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - Realistic Extreme Image Rescaling via Generative Latent Space Learning [51.85790402171696]
極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。
LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。
第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。
第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - Variational Zero-shot Multispectral Pansharpening [43.881891055500496]
Pansharpeningは、低空間分解能マルチスペクトル画像(LRMS)とパンクロマチック画像(PAN)を融合させて高空間分解能マルチスペクトル画像(HRMS)を生成することを目的としている。
既存のディープラーニングベースの手法は、多くのトレーニングペアに依存するため、適していない。
最適化対象にニューラルネットワークを導入することにより,ゼロショットパンスハーペン方式を提案する。
論文 参考訳（メタデータ） (2024-07-09T07:59:34Z) - CrossDiff: Exploring Self-Supervised Representation of Pansharpening via
Cross-Predictive Diffusion Model [42.39485365164292]
パンクロマチック (PAN) 画像とそれに対応するマルチスペクトル (MS) 画像の融合は、パンシャーパニング (pansharpening) とも呼ばれる。
高解像度のMS画像がないため、利用可能なディープラーニングベースの手法は通常、縮小解像度でのトレーニングと、縮小解像度と完全解像度の両方でのテストのパラダイムに従う。
そこで本研究では,クロスディフ(CrossDiff)と呼ばれる相互予測拡散モデルの設計により,パンシャルペンの自己制御表現について検討する。
論文 参考訳（メタデータ） (2024-01-10T13:32:47Z) - Band-wise Hyperspectral Image Pansharpening using CNN Model Propagation [4.246657212475299]
ハイパースペクトルパンシャーピングのための新しい深層学習法を提案する。
バンドワイド適応方式でネストされた単純な単一バンドアン教師付きパンシャーペニングモデルを継承する。
提案手法は,従来の学習基準法と深層学習基準法の両方より優れた結果が得られる。
論文 参考訳（メタデータ） (2023-11-11T08:53:54Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳（メタデータ） (2021-07-06T14:11:03Z) - PGMAN: An Unsupervised Generative Multi-adversarial Network for
Pan-sharpening [46.84573725116611]
プリプロセッシングのないフル解像度画像から直接学習する教師なしのフレームワークを提案する。
本研究では,2ストリーム生成器を用いてPAN画像とMS画像からモダリティ固有の特徴を抽出し,融合時に入力のスペクトル情報と空間情報を保存する2重識別器を開発した。
論文 参考訳（メタデータ） (2020-12-16T16:21:03Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。