論文の概要: Building Bridges across Spatial and Temporal Resolutions: Reference-Based Super-Resolution via Change Priors and Conditional Diffusion Model
- arxiv url: http://arxiv.org/abs/2403.17460v1
- Date: Tue, 26 Mar 2024 07:48:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:16:34.252278
- Title: Building Bridges across Spatial and Temporal Resolutions: Reference-Based Super-Resolution via Change Priors and Conditional Diffusion Model
- Title（参考訳）: 空間的・時間的解像度にまたがる橋--変化優先と条件拡散モデルによる参照型超解法-
- Authors: Runmin Dong, Shuai Yuan, Bin Luo, Mengxuan Chen, Jinxiao Zhang, Lixian Zhang, Weijia Li, Juepeng Zheng, Haohuan Fu,
- Abstract要約: RefSRは、リモートセンシング画像の空間的および時間的解像度にまたがる橋を構築する可能性がある。
条件付き拡散モデルにより、現実的な高解像度画像を生成する新たな機会が開かれた。
本稿では,RefSRに対するRef-Diffを提案する。
- 参考スコア（独自算出の注目度）: 13.368558322546784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reference-based super-resolution (RefSR) has the potential to build bridges across spatial and temporal resolutions of remote sensing images. However, existing RefSR methods are limited by the faithfulness of content reconstruction and the effectiveness of texture transfer in large scaling factors. Conditional diffusion models have opened up new opportunities for generating realistic high-resolution images, but effectively utilizing reference images within these models remains an area for further exploration. Furthermore, content fidelity is difficult to guarantee in areas without relevant reference information. To solve these issues, we propose a change-aware diffusion model named Ref-Diff for RefSR, using the land cover change priors to guide the denoising process explicitly. Specifically, we inject the priors into the denoising model to improve the utilization of reference information in unchanged areas and regulate the reconstruction of semantically relevant content in changed areas. With this powerful guidance, we decouple the semantics-guided denoising and reference texture-guided denoising processes to improve the model performance. Extensive experiments demonstrate the superior effectiveness and robustness of the proposed method compared with state-of-the-art RefSR methods in both quantitative and qualitative evaluations. The code and data are available at https://github.com/dongrunmin/RefDiff.
- Abstract（参考訳）: 参照ベース超解像(RefSR)は、リモートセンシング画像の空間的および時間的解像度にまたがる橋を構築する可能性がある。
しかし、既存のRefSR法は、コンテンツ再構成の忠実さと、大規模なスケーリング要因におけるテクスチャ転送の有効性によって制限されている。
条件付き拡散モデルは、現実的な高解像度画像を生成する新たな機会を開いたが、これらのモデル内の参照画像を有効に活用することは、さらなる探索の場として残されている。
さらに,参照情報のない領域では,コンテンツ忠実性を保証することは困難である。
これらの問題を解決するために,Ref-Diff for RefSRという変更対応拡散モデルを提案する。
具体的には,先行情報をデノナイジングモデルに注入し,変化領域における参照情報の活用を改善するとともに,変化領域における意味的関連コンテンツの再構築を規制する。
この強力なガイダンスにより、セマンティクスに導かれた記述とテクスチャに導かれる記述プロセスを分離し、モデルの性能を改善する。
提案手法の有効性とロバスト性は, 定量評価と定性評価の両方において, 最先端のRefSR法と比較した。
コードとデータはhttps://github.com/dongrunmin/RefDiff.comで公開されている。
関連論文リスト
- Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。
特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。
拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
論文 参考訳（メタデータ） (2024-06-26T17:40:30Z) - Detail-Enhancing Framework for Reference-Based Image Super-Resolution [8.899312174844725]
参照型超解像のためのDEF(Detail-Enhancing Framework)を提案する。
提案手法は,比較した数値結果を維持しながら,優れた視覚的結果が得られる。
論文 参考訳（メタデータ） (2024-05-01T10:27:22Z) - Spatial-and-Frequency-aware Restoration method for Images based on
Diffusion Models [7.947387272047602]
画像復元のための空間・周波数対応拡散モデルSaFaRIを提案する。
本モデルでは,空間領域と周波数領域の両領域において画像の忠実度を保ち,再現性の向上を図っている。
我々の徹底的な評価は、SaFaRIがImageNetデータセットとFFHQデータセットの両方で最先端のパフォーマンスを実現していることを示している。
論文 参考訳（メタデータ） (2024-01-31T07:11:01Z) - Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image
Denoising [16.43285056788183]
再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。
提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。
拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
論文 参考訳（メタデータ） (2023-09-19T16:01:20Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳（メタデータ） (2023-08-28T08:47:06Z) - ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳（メタデータ） (2023-07-03T06:49:04Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly
Detection [89.49600182243306]
我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。
本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。
セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
論文 参考訳（メタデータ） (2023-03-15T16:14:06Z) - MASA-SR: Matching Acceleration and Spatial Adaptation for
Reference-Based Image Super-Resolution [74.24676600271253]
本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。
提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。
空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
論文 参考訳（メタデータ） (2021-06-04T07:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。