論文の概要: Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2410.22830v1
- Date: Wed, 30 Oct 2024 09:14:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:26:46.656140
- Title: Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images
- Title（参考訳）: 潜時拡散・インシシット増幅:リモートセンシング画像の高効率連続的超解像
- Authors: Hanlin Wu, Jiangwei Mo, Xiaohui Sun, Jie Ma,
- Abstract要約: E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。
拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
- 参考スコア（独自算出の注目度）: 7.920423405957888
- License:
- Abstract: Recent advancements in diffusion models have significantly improved performance in super-resolution (SR) tasks. However, previous research often overlooks the fundamental differences between SR and general image generation. General image generation involves creating images from scratch, while SR focuses specifically on enhancing existing low-resolution (LR) images by adding typically missing high-frequency details. This oversight not only increases the training difficulty but also limits their inference efficiency. Furthermore, previous diffusion-based SR methods are typically trained and inferred at fixed integer scale factors, lacking flexibility to meet the needs of up-sampling with non-integer scale factors. To address these issues, this paper proposes an efficient and elastic diffusion-based SR model (E$^2$DiffSR), specially designed for continuous-scale SR in remote sensing imagery. E$^2$DiffSR employs a two-stage latent diffusion paradigm. During the first stage, an autoencoder is trained to capture the differential priors between high-resolution (HR) and LR images. The encoder intentionally ignores the existing LR content to alleviate the encoding burden, while the decoder introduces an SR branch equipped with a continuous scale upsampling module to accomplish the reconstruction under the guidance of the differential prior. In the second stage, a conditional diffusion model is learned within the latent space to predict the true differential prior encoding. Experimental results demonstrate that E$^2$DiffSR achieves superior objective metrics and visual quality compared to the state-of-the-art SR methods. Additionally, it reduces the inference time of diffusion-based SR methods to a level comparable to that of non-diffusion methods.
- Abstract（参考訳）: 拡散モデルの最近の進歩は超解像(SR)タスクの性能を著しく改善した。
しかし、以前の研究では、SRと一般的な画像生成の根本的な違いをしばしば見落としている。
一般的な画像生成は、スクラッチから画像を作成することを含み、SRは、通常、高周波の詳細を欠くことで、既存の低解像度(LR)画像の強化に特化している。
この監視は、トレーニングの困難を増すだけでなく、推論効率を制限します。
さらに、従来の拡散ベースのSR法は、固定整数スケール因子で訓練され、推論され、非整数スケール因子とのアップサンプリングの必要性を満たす柔軟性に欠ける。
これらの問題に対処するために,リモートセンシング画像の連続的スケールSRに特化して設計された,効率的で弾性的な拡散型SRモデル(E$^2$DiffSR)を提案する。
E$^2$DiffSRは2段階の遅延拡散パラダイムを用いる。
第1段階では、オートエンコーダが訓練され、高分解能(HR)画像とLR画像の差分先行をキャプチャする。
エンコーダは、既存のLRコンテンツを意図的に無視して符号化負担を軽減する一方、デコーダは、差分事前の指示により再構成を実現するために、連続的なスケールアップサンプリングモジュールを備えたSRブランチを導入する。
第2段階では、条件拡散モデルが潜在空間内で学習され、真の差分先行符号化を予測する。
実験の結果,E$^2$DiffSRは最先端のSR手法と比較して,客観的な指標と視覚的品質が優れていることがわかった。
さらに、拡散に基づくSR法の推論時間を非拡散法に匹敵するレベルに短縮する。
関連論文リスト
- Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。
本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。
既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
論文 参考訳（メタデータ） (2024-09-25T16:15:21Z) - Realistic Extreme Image Rescaling via Generative Latent Space Learning [51.85790402171696]
極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。
LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。
第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。
第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - Burst Super-Resolution with Diffusion Models for Improving Perceptual Quality [12.687175237915019]
バーストLR画像を受け入れる以前のSRネットワークは、曖昧なSR画像を生成することが知られている決定論的方法で訓練される。
このようなぼやけた画像は知覚的に劣化しているので、我々は鋭い高忠実度境界を再構築することを目指している。
一方,提案手法では,初期バーストSR画像の再構成にバーストLR特性を用いる。
論文 参考訳（メタデータ） (2024-03-28T13:58:05Z) - Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution [18.71638301931374]
画像超解像 (SR) 結果の視覚的品質を高めるために, 予め訓練した潜伏拡散モデル (DM) の生成先行が大きな可能性を示唆している。
本稿では、生成SR過程を2段階に分割し、DMを画像構造再構築に、GANを細かな細部改善に使用することを提案する。
トレーニングを済ませると、提案手法、すなわちコンテンツ一貫性超解像(CCSR)は、推論段階における異なる拡散ステップの柔軟な利用を可能にする。
論文 参考訳（メタデータ） (2023-12-30T10:22:59Z) - Image Super-resolution Via Latent Diffusion: A Sampling-space Mixture Of
Experts And Frequency-augmented Decoder Approach [17.693287544860638]
事前訓練されたテキスト画像モデルにより画像超解像の潜時拡散が改善した。
ラテントベースの手法では、特徴エンコーダを使用して画像を変換し、コンパクトなラテント空間でSR画像生成を実装する。
遅延空間から画素空間への周波数成分を増大させる周波数補償モジュールを提案する。
論文 参考訳（メタデータ） (2023-10-18T14:39:25Z) - Towards Lightweight Super-Resolution with Dual Regression Learning [58.98801753555746]
深層ニューラルネットワークは、画像超解像(SR)タスクにおいて顕著な性能を示した。
SR問題は通常不適切な問題であり、既存の手法にはいくつかの制限がある。
本稿では、SRマッピングの可能な空間を削減するために、二重回帰学習方式を提案する。
論文 参考訳（メタデータ） (2022-07-16T12:46:10Z) - Hierarchical Conditional Flow: A Unified Framework for Image
Super-Resolution and Image Rescaling [139.25215100378284]
画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。
HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。
さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
論文 参考訳（メタデータ） (2021-08-11T16:11:01Z) - Blind Image Super-Resolution via Contrastive Representation Learning [41.17072720686262]
マルチモーダルおよび空間変動分布を持つ画像のブラインドSRに着目したコントラスト表現学習ネットワークを設計する。
提案したCRL-SRは,ブラインド設定下でのマルチモーダル・空間変動劣化を効果的に処理可能であることを示す。
また、最先端のSR手法を質的に、定量的に上回る。
論文 参考訳（メタデータ） (2021-07-01T19:34:23Z) - SRDiff: Single Image Super-Resolution with Diffusion Probabilistic
Models [19.17571465274627]
単一の画像スーパーリゾリューション(SISR)は、与えられた低リゾリューション(LR)画像から高解像度(HR)画像を再構成することを目的とする。
新規な単像超解像拡散確率モデル(SRDiff)を提案する。
SRDiffはデータ可能性の変動境界の変種に最適化されており、多様で現実的なSR予測を提供することができる。
論文 参考訳（メタデータ） (2021-04-30T12:31:25Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳（メタデータ） (2020-12-18T08:25:39Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳（メタデータ） (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。