論文の概要: Exploiting Diffusion Prior for Real-World Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2305.07015v4
• Date: Fri, 28 Jun 2024 17:14:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 22:23:58.524064
• Title: Exploiting Diffusion Prior for Real-World Image Super-Resolution
• Title（参考訳）: 実世界の超解像に先立つ爆発拡散
• Authors: Jianyi Wang, Zongsheng Yue, Shangchen Zhou, Kelvin C. K. Chan, Chen Change Loy,
• Abstract要約: 本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
• 参考スコア（独自算出の注目度）: 75.5898357277047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel approach to leverage prior knowledge encapsulated in pre-trained text-to-image diffusion models for blind super-resolution (SR). Specifically, by employing our time-aware encoder, we can achieve promising restoration results without altering the pre-trained synthesis model, thereby preserving the generative prior and minimizing training cost. To remedy the loss of fidelity caused by the inherent stochasticity of diffusion models, we employ a controllable feature wrapping module that allows users to balance quality and fidelity by simply adjusting a scalar value during the inference process. Moreover, we develop a progressive aggregation sampling strategy to overcome the fixed-size constraints of pre-trained diffusion models, enabling adaptation to resolutions of any size. A comprehensive evaluation of our method using both synthetic and real-world benchmarks demonstrates its superiority over current state-of-the-art approaches. Code and models are available at https://github.com/IceClear/StableSR.
• Abstract（参考訳）: 本稿では,視覚超解像(SR)のための事前学習されたテキスト・画像拡散モデルにカプセル化された事前知識を活用する新しい手法を提案する。 具体的には、時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果を達成することができ、生成前の保存とトレーニングコストの最小化が可能となる。 拡散モデル固有の確率性に起因する忠実さの損失を補うために,ユーザが推論プロセス中にスカラー値を調整するだけで品質と忠実さのバランスをとることができる制御可能な特徴包みモジュールを用いる。 さらに,事前学習した拡散モデルの固定サイズ制約を克服し,任意の大きさの分解能に適応するプログレッシブ・アグリゲーション・サンプリング・ストラテジーを開発した。 合成および実世界のベンチマークを用いて,本手法の総合評価を行い,現在の最先端手法よりも優れていることを示す。 コードとモデルはhttps://github.com/IceClear/StableSR.comで公開されている。

関連論文リスト

• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデルアタック(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
  本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。 このアプローチによって、完全な拡散生成プロセスの10%未満の実行が可能になり、バックボーンにアーキテクチャ的な変更は不要になります。
  論文  参考訳（メタデータ） (2024-04-12T16:23:42Z)
• FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis [48.9652334528436]
  本稿では、周波数領域解析の観点から、FouriScaleの革新的な学習不要アプローチを紹介する。 従来の拡散モデルの畳み込み層を,低域演算とともに拡張手法を組み込むことで置き換える。 提案手法は, 生成画像の構造的整合性と忠実度をバランスさせ, 任意のサイズ, 高解像度, 高品質な生成の驚くべき能力を実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:33Z)
• Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
  トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。 本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
  論文  参考訳（メタデータ） (2024-03-13T12:52:37Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
  画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:22:24Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• High-Resolution Image Synthesis with Latent Diffusion Models [14.786952412297808]
  オートエンコーダ上での拡散モデルの訓練は、複雑性の低減と詳細保存の間のほぼ最適点に初めて到達することができる。 我々の潜伏拡散モデル(LDMs)は,様々なタスクにおける画像インペイントと高い競争性能の新たな技術を実現する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。