論文の概要: Adaptive Semantic-Enhanced Denoising Diffusion Probabilistic Model for Remote Sensing Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.11078v1
- Date: Sun, 17 Mar 2024 04:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:17:05.951897
- Title: Adaptive Semantic-Enhanced Denoising Diffusion Probabilistic Model for Remote Sensing Image Super-Resolution
- Title(参考訳): リモートセンシング画像超解像に対する適応的セマンティック拡張拡散確率モデル
- Authors: Jialu Sui, Xianping Ma, Xiaokang Zhang, Man-On Pun,
- Abstract要約: Denoising Diffusion Probabilistic Model (DDPM) は画像再構成において有望な性能を示した。
DDPMが生成する高周波の詳細は、モデルが長距離の意味的文脈を見落としているため、HR画像との不一致に悩まされることが多い。
DDPMの詳細な保存能力を高めるために,適応的意味強化DDPM(ASDDPM)を提案する。
- 参考スコア(独自算出の注目度): 7.252121550658619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing image super-resolution (SR) is a crucial task to restore high-resolution (HR) images from low-resolution (LR) observations. Recently, the Denoising Diffusion Probabilistic Model (DDPM) has shown promising performance in image reconstructions by overcoming problems inherent in generative models, such as over-smoothing and mode collapse. However, the high-frequency details generated by DDPM often suffer from misalignment with HR images due to the model's tendency to overlook long-range semantic contexts. This is attributed to the widely used U-Net decoder in the conditional noise predictor, which tends to overemphasize local information, leading to the generation of noises with significant variances during the prediction process. To address these issues, an adaptive semantic-enhanced DDPM (ASDDPM) is proposed to enhance the detail-preserving capability of the DDPM by incorporating low-frequency semantic information provided by the Transformer. Specifically, a novel adaptive diffusion Transformer decoder (ADTD) is developed to bridge the semantic gap between the encoder and decoder through regulating the noise prediction with the global contextual relationships and long-range dependencies in the diffusion process. Additionally, a residual feature fusion strategy establishes information exchange between the two decoders at multiple levels. As a result, the predicted noise generated by our approach closely approximates that of the real noise distribution.Extensive experiments on two SR and two semantic segmentation datasets confirm the superior performance of the proposed ASDDPM in both SR and the subsequent downstream applications. The source code will be available at https://github.com/littlebeen/ASDDPM-Adaptive-Semantic-Enhanced-DDPM.
- Abstract(参考訳): リモートセンシング画像超解像(SR)は低分解能(LR)観測から高分解能(HR)画像を復元するための重要な課題である。
近年,DPM(Denoising Diffusion Probabilistic Model)は,過剰なスムーシングやモード崩壊といった生成モデル固有の問題を克服し,画像再構成において有望な性能を示した。
しかし、DDPMが生成する高周波の詳細は、長い範囲の意味的文脈を見渡す傾向にあるため、HR画像との相違に悩まされることが多い。
これは、条件付きノイズ予測器において広く使われているU-Netデコーダによるもので、これは局所的な情報を過度に強調し、予測プロセス中に大きなノイズが発生する傾向がある。
これらの課題に対処するために,変換器が提供する低周波意味情報を組み込むことにより,DDPMの詳細な保存能力を高めるために,適応的意味強化DDPM(ASDDPM)を提案する。
具体的には, 適応拡散変換器デコーダ (ADTD) を開発し, 拡散過程における雑音予測を大域的文脈関係と長距離依存性で制御することにより, エンコーダとデコーダのセマンティックギャップを埋める。
さらに、残った特徴融合戦略は、2つのデコーダ間の情報交換を複数のレベルで確立する。
その結果、2つのSRと2つのセマンティックセグメンテーションデータセットの総合的な実験により、提案したASDDPMの性能がSRとその後の下流の両方で向上していることが確認された。
ソースコードはhttps://github.com/littlebeen/ASDDPM-Adaptive-Semantic-Enhanced-DDPMで入手できる。
関連論文リスト
- BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。
BlindDiffはMAPベースの最適化をDMにシームレスに統合する。
合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2024-03-15T11:21:34Z) - Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳(メタデータ) (2024-02-12T12:50:10Z) - Denoising Diffusion Probabilistic Models for Hardware-Impaired
Communication Systems: Towards Wireless Generative AI [13.731989014750388]
ハードウェア不備なトランシーバを用いた有限精度無線通信システムにおいて,拡散確率モデル(DDPM)を提案する。
これに触発されて、現実的な非理想に直面する実用的な無線通信方式としてDDPMベースの受信機が提案される。
提案手法は低SNR下でのネットワークレジリエンス,HWIレベルと量子化誤差の相違によるほぼ不変な再構成性能,非ガウス雑音に対するロバストなアウト・オブ・ディストリビューション性能を実現する。
論文 参考訳(メタデータ) (2023-10-30T11:33:01Z) - SatDM: Synthesizing Realistic Satellite Image with Semantic Layout
Conditioning using Diffusion Models [0.0]
Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。
本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。
提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
論文 参考訳(メタデータ) (2023-09-28T19:39:13Z) - SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired
Image-to-Image Translation [96.11061713135385]
本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。
我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。
SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
論文 参考訳(メタデータ) (2023-08-04T06:21:57Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - EDICT: Exact Diffusion Inversion via Coupled Transformations [13.996171129586731]
拡散過程(反転と呼ばれる)に入力画像を生成する初期ノイズベクトルを見つけることは重要な問題である。
本稿では,アフィン結合層からインスピレーションを得るための逆変換法であるEDICT(Exact Diffusion Inversion)を提案する。
EDICTは、2つの結合ノイズベクトルを維持することにより、実画像とモデル生成画像の数学的に正確な逆変換を可能にする。
論文 参考訳(メタデータ) (2022-11-22T18:02:49Z) - f-DM: A Multi-stage Diffusion Model via Progressive Signal
Transformation [56.04628143914542]
拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。
本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。
我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
論文 参考訳(メタデータ) (2022-10-10T18:49:25Z) - Learned Image Compression with Generalized Octave Convolution and
Cross-Resolution Parameter Estimation [5.238765582868391]
本稿では,オクターブの畳み込みを利用して,遅延表現を高分解能 (HR) と低分解能 (LR) に分解する多分解能画像圧縮フレームワークを提案する。
実験結果から,本手法は,最先端の学習画像圧縮法と比較して,復号時間を約73.35 %,93.44 %削減できることがわかった。
論文 参考訳(メタデータ) (2022-09-07T08:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。