論文の概要: One-Step Effective Diffusion Network for Real-World Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2406.08177v1
• Date: Wed, 12 Jun 2024 13:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:55:44.833305
• Title: One-Step Effective Diffusion Network for Real-World Image Super-Resolution
• Title（参考訳）: 実世界の超解像のためのワンステップ有効拡散ネットワーク
• Authors: Rongyuan Wu, Lingchen Sun, Zhiyuan Ma, Lei Zhang,
• Abstract要約: 本稿では,Real-ISR問題に対する1ステップの効果的な拡散ネットワーク,すなわちOSEDiffを提案する。 我々は,KL分散正則化を行うために,潜時空間における変分点蒸留を適用した。 実験の結果,OSEDiffは,客観的指標と主観的評価の両方の観点から,同等あるいはさらに優れたリアルISR結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 11.326598938246558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pre-trained text-to-image diffusion models have been increasingly employed to tackle the real-world image super-resolution (Real-ISR) problem due to their powerful generative image priors. Most of the existing methods start from random noise to reconstruct the high-quality (HQ) image under the guidance of the given low-quality (LQ) image. While promising results have been achieved, such Real- ISR methods require multiple diffusion steps to reproduce the HQ image, increasing the computational cost. Meanwhile, the random noise introduces uncertainty in the output, which is unfriendly to image restoration tasks. To address these issues, we propose a one-step effective diffusion network, namely OSEDiff, for the Real- ISR problem. We argue that the LQ image contains rich information to restore its HQ counterpart, and hence the given LQ image can be directly taken as the starting point for diffusion, eliminating the uncertainty introduced by random noise sampling. We finetune the pre-trained diffusion network with trainable layers to adapt it to complex image degradations. To ensure that the one-step diffusion model could yield HQ Real-ISR output, we apply variational score distillation in the latent space to conduct KL-divergence regularization. As a result, our OSEDiff model can efficiently and effectively generate HQ images in just one diffusion step. Our experiments demonstrate that OSEDiff achieves comparable or even better Real-ISR results, in terms of both objective metrics and subjective evaluations, than previous diffusion model based Real-ISR methods that require dozens or hundreds of steps. The source codes will be released at https://github.com/cswry/OSEDiff.
• Abstract（参考訳）: 事前訓練されたテキスト-画像拡散モデルは、その強力な生成画像先行により、現実の超解像(Real-ISR)問題に取り組むために、ますます採用されている。 既存の手法のほとんどはランダムノイズから始まり、与えられた低品質(LQ)画像の誘導の下で高品質(HQ)画像を再構成する。 有望な結果が得られたが、そのようなReal-ISR法はHQイメージを再現するために複数の拡散ステップを必要とし、計算コストを増大させる。 一方、ランダムノイズは出力の不確実性を導入し、画像復元作業には適さない。 これらの問題に対処するため、実ISR問題に対して1段階の効果的な拡散ネットワーク、すなわちOSEDiffを提案する。 我々は,LQ画像は本社を復元するための豊富な情報を含んでいるため,与えられたLQ画像を拡散開始点として直接捉えることができ,ランダムノイズサンプリングによる不確実性を排除できると主張している。 トレーニング可能な層で事前学習した拡散ネットワークを微調整し、複雑な画像劣化に適応する。 一段階拡散モデルによりHQ Real-ISR出力が得られることを保証するため,KL分散正則化を行うために潜時空間における変分点蒸留を適用した。 その結果,OSEDiffモデルでは,1つの拡散ステップでHQイメージを効率よく効率よく生成できることがわかった。 実験により,OSEDiffは,従来の拡散モデルに基づく実ISR法に比べて,客観的な測定値と主観的評価値の両方で,数十段階ないし数百段階のステップを必要とする場合と比較して,同等あるいはさらに優れた実ISR結果が得られることが示された。 ソースコードはhttps://github.com/cswry/OSEDiffで公開される。

関連論文リスト

• Adversarial Diffusion Compression for Real-World Image Super-Resolution [16.496532580598007]
  現実世界の超解像は、複雑なプロセスによって劣化した低解像度の入力から高解像度の画像を再構成することを目的としている。 OSEDiffやS3Diffのような一段階拡散ネットワークはこの問題を緩和するが、それでも高い計算コストがかかる。 本稿では,一段階拡散ネットワークOSEDiffを流線形拡散GANモデルに蒸留することにより,新しいリアルISR法AdcSRを提案する。
  論文  参考訳（メタデータ） (2024-11-20T15:13:36Z)
• ConsisSR: Delving Deep into Consistency in Diffusion-based Image Super-Resolution [28.945663118445037]
  実世界の超解像(Real-ISR)は、未知の複雑な劣化によって劣化した低品質(LQ)入力から高品質(HQ)イメージを復元することを目的としている。 セマンティックとピクセルレベルの整合性を扱うためにConsisSRを導入する。
  論文  参考訳（メタデータ） (2024-10-17T17:41:52Z)
• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Iterative Token Evaluation and Refinement for Real-World Super-Resolution [77.74289677520508]
  実世界の画像超解像(RWSR)は、低品質(LQ)画像が複雑で未同定の劣化を起こすため、長年にわたる問題である。 本稿では,RWSRのための反復的トークン評価・リファインメントフレームワークを提案する。 ITERはGAN(Generative Adversarial Networks)よりも訓練が容易であり,連続拡散モデルよりも効率的であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T17:07:32Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
  拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。 既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。 本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T08:27:56Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。