論文の概要: CrossDiff: Exploring Self-Supervised Representation of Pansharpening via
Cross-Predictive Diffusion Model
- arxiv url: http://arxiv.org/abs/2401.05153v2
- Date: Sat, 13 Jan 2024 06:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 23:23:09.003548
- Title: CrossDiff: Exploring Self-Supervised Representation of Pansharpening via
Cross-Predictive Diffusion Model
- Title（参考訳）: CrossDiff: クロス予測拡散モデルによる自己監督型パンシャーペン表現の探索
- Authors: Yinghui Xing, Litao Qu, Shizhou Zhang, Kai Zhang, Yanning Zhang
- Abstract要約: パンクロマチック (PAN) 画像とそれに対応するマルチスペクトル (MS) 画像の融合は、パンシャーパニング (pansharpening) とも呼ばれる。
高解像度のMS画像がないため、利用可能なディープラーニングベースの手法は通常、縮小解像度でのトレーニングと、縮小解像度と完全解像度の両方でのテストのパラダイムに従う。
そこで本研究では,クロスディフ(CrossDiff)と呼ばれる相互予測拡散モデルの設計により,パンシャルペンの自己制御表現について検討する。
- 参考スコア（独自算出の注目度）: 42.39485365164292
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fusion of a panchromatic (PAN) image and corresponding multispectral (MS)
image is also known as pansharpening, which aims to combine abundant spatial
details of PAN and spectral information of MS. Due to the absence of
high-resolution MS images, available deep-learning-based methods usually follow
the paradigm of training at reduced resolution and testing at both reduced and
full resolution. When taking original MS and PAN images as inputs, they always
obtain sub-optimal results due to the scale variation. In this paper, we
propose to explore the self-supervised representation of pansharpening by
designing a cross-predictive diffusion model, named CrossDiff. It has two-stage
training. In the first stage, we introduce a cross-predictive pretext task to
pre-train the UNet structure based on conditional DDPM, while in the second
stage, the encoders of the UNets are frozen to directly extract spatial and
spectral features from PAN and MS, and only the fusion head is trained to adapt
for pansharpening task. Extensive experiments show the effectiveness and
superiority of the proposed model compared with state-of-the-art supervised and
unsupervised methods. Besides, the cross-sensor experiments also verify the
generalization ability of proposed self-supervised representation learners for
other satellite's datasets. We will release our code for reproducibility.
- Abstract（参考訳）: パンクロマティック(PAN)画像とそれに対応するマルチスペクトル(MS)画像の融合は、PANの空間的詳細とMSのスペクトル情報とを融合することを目的としたパンシャーペン(pansharpening)とも呼ばれる。
元のMSとPANの画像を入力として取ると、スケールの変動により常に準最適結果が得られる。
本稿では,クロスディフ(CrossDiff)と呼ばれる相互予測拡散モデルの設計により,パンシャルペンの自己制御表現を提案する。
2段階の訓練がある。
第1段階では条件付きDDPMに基づいてUNet構造を事前訓練するクロス予測プレテキストタスクを導入し,第2段階ではUNetsのエンコーダを凍結してPANとMSから直接空間的・スペクトル的特徴を抽出し,融合ヘッドのみがパンシャーピングタスクに適応するように訓練する。
広範な実験により,提案手法の有効性と優越性が,教師なし法と教師なし法と比較された。
さらに、クロスセンサ実験は、他の衛星のデータセットに対する自己教師付き表現学習者の一般化能力を検証する。
再現性のためにコードをリリースします。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - Unsupervised Hyperspectral Pansharpening via Low-rank Diffusion Model [43.71116483554516]
高分解能パノクロマトグラフィー (PAN) 画像と低分解能ハイパースペクトル (LRHS) 画像を融合して高分解能ハイパースペクトル (HRHS) 画像を生成する過程である。
既存のベイズをベースとしたHSパンシャーピング法では、画像の特徴を特徴づける前に手工業的なイメージを設計する必要がある。
本研究では,事前学習した深部拡散モデルのパワーとベイズ法の一般化能力を同時に活用し,高スペクトルパンシャルペンの低ランク拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-05-18T12:38:29Z) - Scale Attention for Learning Deep Face Representation: A Study Against
Visual Scale Variation [69.45176408639483]
我々はスケール空間理論に頼って凸層を再構築する。
我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。
単発方式として、推論はマルチショット融合よりも効率的である。
論文 参考訳（メタデータ） (2022-09-19T06:35:04Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Unsupervised Cycle-consistent Generative Adversarial Networks for
Pan-sharpening [41.68141846006704]
本稿では,この問題を緩和するために,基礎的な真理を伴わずに,フルスケールの画像から学習する,教師なしの生成的敵対的枠組みを提案する。
PANおよびMS画像から2ストリーム生成器を用いてモダリティ特異的特徴を抽出し,特徴領域での融合を行い,パンシャープ画像の再構成を行う。
提案手法は,フルスケール画像のパンシャーピング性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-09-20T09:43:24Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳（メタデータ） (2021-07-06T14:11:03Z) - PGMAN: An Unsupervised Generative Multi-adversarial Network for
Pan-sharpening [46.84573725116611]
プリプロセッシングのないフル解像度画像から直接学習する教師なしのフレームワークを提案する。
本研究では,2ストリーム生成器を用いてPAN画像とMS画像からモダリティ固有の特徴を抽出し,融合時に入力のスペクトル情報と空間情報を保存する2重識別器を開発した。
論文 参考訳（メタデータ） (2020-12-16T16:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。