論文の概要: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- arxiv url: http://arxiv.org/abs/2308.15070v1
- Date: Tue, 29 Aug 2023 07:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 15:29:39.500659
- Title: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- Title(参考訳): DiffBIR: 生成拡散に先立ってブラインド画像復元を目指す
- Authors: Xinqi Lin, Jingwen He, Ziyan Chen, Zhaoyang Lyu, Ben Fei, Bo Dai,
Wanli Ouyang, Yu Qiao, Chao Dong
- Abstract要約: 本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
本稿では, インジェクティブ変調サブネットワーク -- LAControlNet を微調整用として導入し, 事前学習した安定拡散はその生成能力を維持することを目的としている。
実験では、ブラインド画像の超解像とブラインド顔復元の両タスクにおいて、最先端のアプローチよりも優れていることを示した。
- 参考スコア(独自算出の注目度): 73.8274638090392
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We present DiffBIR, which leverages pretrained text-to-image diffusion models
for blind image restoration problem. Our framework adopts a two-stage pipeline.
In the first stage, we pretrain a restoration module across diversified
degradations to improve generalization capability in real-world scenarios. The
second stage leverages the generative ability of latent diffusion models, to
achieve realistic image restoration. Specifically, we introduce an injective
modulation sub-network -- LAControlNet for finetuning, while the pre-trained
Stable Diffusion is to maintain its generative ability. Finally, we introduce a
controllable module that allows users to balance quality and fidelity by
introducing the latent image guidance in the denoising process during
inference. Extensive experiments have demonstrated its superiority over
state-of-the-art approaches for both blind image super-resolution and blind
face restoration tasks on synthetic and real-world datasets. The code is
available at https://github.com/XPixelGroup/DiffBIR.
- Abstract(参考訳): 本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
私たちのフレームワークは2段階のパイプラインを採用しています。
第1段階では,多様な劣化にまたがって復元モジュールを事前訓練し,実世界のシナリオにおける一般化能力を改善する。
第2段階は潜在拡散モデルの生成能力を利用して現実的な画像復元を実現する。
具体的には、インジェクティブ変調サブネットワークであるLAControlNetを導入し、事前学習した安定拡散はその生成能力を維持する。
最後に,推論中に遅延画像ガイダンスを導入することで,品質と忠実度をバランスさせるコントロール可能なモジュールを提案する。
大規模な実験は、合成データセットと実世界のデータセット上での視覚的画像の超解像と視覚的顔復元タスクに対する最先端のアプローチよりも優れていることを示した。
コードはhttps://github.com/XPixelGroup/DiffBIRで入手できる。
関連論文リスト
- Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。
文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。
我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
論文 参考訳(メタデータ) (2024-01-04T01:10:56Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。
我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。
そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:22:24Z) - Dual-Diffusion: Dual Conditional Denoising Diffusion Probabilistic
Models for Blind Super-Resolution Reconstruction in RSIs [6.2678394285548755]
条件付きデノゲーション拡散確率モデル(DDPM)に基づく新しいブラインドSRフレームワークを提案する。
本研究では,カーネル推定の進展と再構築の進展という2つの側面から,条件付き分散確率モデル(DDPM)を導入する。
我々は、LR画像からHR画像へのマッピングを学習するためのDDPMベースの再構成器を構築する。
論文 参考訳(メタデータ) (2023-05-20T11:18:38Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - ADIR: Adaptive Diffusion for Image Reconstruction [46.838084286784195]
本研究では,拡散モデルによる事前学習を利用した条件付きサンプリング手法を提案する。
次に、事前学習した拡散分極ネットワークを入力に適応させる新しいアプローチと組み合わせる。
画像再構成手法の適応拡散は,超高解像度,デブロアリング,テキストベースの編集タスクにおいて,大幅な改善が達成されていることを示す。
論文 参考訳(メタデータ) (2022-12-06T18:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。