Fugu-MT 論文翻訳(概要): SSDiff: Spatial-spectral Integrated Diffusion Model for Remote Sensing Pansharpening

論文の概要: SSDiff: Spatial-spectral Integrated Diffusion Model for Remote Sensing Pansharpening

arxiv url: http://arxiv.org/abs/2404.11537v1
Date: Wed, 17 Apr 2024 16:30:56 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 13:06:14.647844
Title: SSDiff: Spatial-spectral Integrated Diffusion Model for Remote Sensing Pansharpening
Title（参考訳）: SSDiff:リモートセンシングパンシャーピングのための空間スペクトル統合拡散モデル
Authors: Yu Zhong, Xiao Wu, Liang-Jian Deng, Zihan Cao,
Abstract要約: 本稿では,空間スペクトル統合拡散モデルを導入し,リモートセンシングパンシャーピングタスクであるSSDiffについて述べる。 SSDiffは、パンシャルペン過程を部分空間分解の観点から、空間成分とスペクトル成分の融合過程とみなしている。
参考スコア（独自算出の注目度）: 14.293042131263924
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pansharpening is a significant image fusion technique that merges the spatial content and spectral characteristics of remote sensing images to generate high-resolution multispectral images. Recently, denoising diffusion probabilistic models have been gradually applied to visual tasks, enhancing controllable image generation through low-rank adaptation (LoRA). In this paper, we introduce a spatial-spectral integrated diffusion model for the remote sensing pansharpening task, called SSDiff, which considers the pansharpening process as the fusion process of spatial and spectral components from the perspective of subspace decomposition. Specifically, SSDiff utilizes spatial and spectral branches to learn spatial details and spectral features separately, then employs a designed alternating projection fusion module (APFM) to accomplish the fusion. Furthermore, we propose a frequency modulation inter-branch module (FMIM) to modulate the frequency distribution between branches. The two components of SSDiff can perform favorably against the APFM when utilizing a LoRA-like branch-wise alternative fine-tuning method. It refines SSDiff to capture component-discriminating features more sufficiently. Finally, extensive experiments on four commonly used datasets, i.e., WorldView-3, WorldView-2, GaoFen-2, and QuickBird, demonstrate the superiority of SSDiff both visually and quantitatively. The code will be made open source after possible acceptance.
Abstract（参考訳）: パンシャーペニングは、リモートセンシング画像の空間的内容とスペクトル特性を融合して高分解能マルチスペクトル画像を生成する重要な画像融合技術である。近年,低ランク適応(LoRA)による制御可能な画像生成を向上し,視覚タスクに拡散確率モデルを徐々に応用している。本稿では,空間的およびスペクトル的成分の融合過程を,部分空間分解の観点から考慮した,リモートセンシング型パンシャーピングタスクであるSSDiffについて,空間スペクトル統合拡散モデルを提案する。具体的には、SSDiffは空間的分枝とスペクトル的分枝を用いて空間的詳細とスペクトル的特徴を別々に学習し、その後、設計された交互射影融合モジュール(APFM)を用いて融合を行う。さらに,分枝間の周波数分布を変調するFMIM ( frequency modulation inter-branch Module) を提案する。 SSDiffの2つのコンポーネントは、LoRAのようなブランチワイド代替微調整法を利用する場合、APFMに対して良好に動作する。 SSDiffを改良し、コンポーネント識別機能を十分にキャプチャする。最後に、WorldView-3、WorldView-2、GaoFen-2、QuickBirdの4つの一般的なデータセットに関する広範な実験は、SSDiffの視覚的および定量的な優位性を実証している。コードは、可能な限り受け入れられた後、オープンソースにされる。

関連論文リスト

A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
論文参考訳（メタデータ） (2023-12-17T04:45:15Z)
SS-MAE: Spatial-Spectral Masked Auto-Encoder for Multi-Source Remote Sensing Image Classification [35.52272615695294]
本研究では,HSIとLiDAR/SARデータ共同分類のための空間スペクトルマスク付きオートエンコーダ(SS-MAE)を提案する。我々のSS-MAEは入力データの空間的およびスペクトル的表現を完全に活用する。訓練段階における局所的な特徴を補完するため、特徴抽出のために2つの軽量CNNを追加します。
論文参考訳（メタデータ） (2023-11-08T03:54:44Z)
Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文参考訳（メタデータ） (2023-09-18T11:06:42Z)
Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model [18.915369996829984]
DDPM-Fus と呼ばれる条件付きデノナイジング拡散確率モデルに基づく深部融合法を提案する。 1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。
論文参考訳（メタデータ） (2023-07-07T07:08:52Z)
Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文参考訳（メタデータ） (2023-06-14T09:01:50Z)
SpectralDiff: A Generative Framework for Hyperspectral Image Classification with Diffusion Models [18.391049303136715]
拡散モデルを用いたHSI分類のための生成フレームワーク(SpectralDiff)を提案する。 SpectralDiffは、高次元および高冗長なデータの分布情報を効果的にマイニングする。 3つの公開HSIデータセットの実験により、提案手法は最先端の手法よりも優れた性能が得られることを示した。
論文参考訳（メタデータ） (2023-04-12T16:32:34Z)
CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-11-26T02:40:28Z)
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文参考訳（メタデータ） (2022-07-29T03:09:21Z)
Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
サブピクセルレベルのHS超解像フレームワークを提案する。名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
論文参考訳（メタデータ） (2022-05-07T23:40:36Z)
MESSFN : a Multi-level and Enhanced Spectral-Spatial Fusion Network for Pan-sharpening [17.129956512200454]
本稿では,MESSFN(Multi-level and Enhanced Spectral-Spatial Fusion Network)を提案する。スペクトル-空間流は階層的に導出され,MSストリームとPANストリームから複数レベルの先行スペクトルおよび空間的専門知識を融合する。 2つのデータセットの実験は、ネットワークが最先端の手法と競合しているか、優れていることを示している。
論文参考訳（メタデータ） (2021-09-21T03:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。