論文の概要: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- arxiv url: http://arxiv.org/abs/2308.15070v1
- Date: Tue, 29 Aug 2023 07:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 15:29:39.500659
- Title: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- Title(参考訳): DiffBIR: 生成拡散に先立ってブラインド画像復元を目指す
- Authors: Xinqi Lin, Jingwen He, Ziyan Chen, Zhaoyang Lyu, Ben Fei, Bo Dai,
Wanli Ouyang, Yu Qiao, Chao Dong
- Abstract要約: 本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
本稿では, インジェクティブ変調サブネットワーク -- LAControlNet を微調整用として導入し, 事前学習した安定拡散はその生成能力を維持することを目的としている。
実験では、ブラインド画像の超解像とブラインド顔復元の両タスクにおいて、最先端のアプローチよりも優れていることを示した。
- 参考スコア(独自算出の注目度): 73.8274638090392
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We present DiffBIR, which leverages pretrained text-to-image diffusion models
for blind image restoration problem. Our framework adopts a two-stage pipeline.
In the first stage, we pretrain a restoration module across diversified
degradations to improve generalization capability in real-world scenarios. The
second stage leverages the generative ability of latent diffusion models, to
achieve realistic image restoration. Specifically, we introduce an injective
modulation sub-network -- LAControlNet for finetuning, while the pre-trained
Stable Diffusion is to maintain its generative ability. Finally, we introduce a
controllable module that allows users to balance quality and fidelity by
introducing the latent image guidance in the denoising process during
inference. Extensive experiments have demonstrated its superiority over
state-of-the-art approaches for both blind image super-resolution and blind
face restoration tasks on synthetic and real-world datasets. The code is
available at https://github.com/XPixelGroup/DiffBIR.
- Abstract(参考訳): 本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
私たちのフレームワークは2段階のパイプラインを採用しています。
第1段階では,多様な劣化にまたがって復元モジュールを事前訓練し,実世界のシナリオにおける一般化能力を改善する。
第2段階は潜在拡散モデルの生成能力を利用して現実的な画像復元を実現する。
具体的には、インジェクティブ変調サブネットワークであるLAControlNetを導入し、事前学習した安定拡散はその生成能力を維持する。
最後に,推論中に遅延画像ガイダンスを導入することで,品質と忠実度をバランスさせるコントロール可能なモジュールを提案する。
大規模な実験は、合成データセットと実世界のデータセット上での視覚的画像の超解像と視覚的顔復元タスクに対する最先端のアプローチよりも優れていることを示した。
コードはhttps://github.com/XPixelGroup/DiffBIRで入手できる。
関連論文リスト
- Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。
提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。
画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
論文 参考訳(メタデータ) (2024-05-29T23:38:12Z) - Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文 参考訳(メタデータ) (2023-11-20T09:55:06Z) - Dual-Diffusion: Dual Conditional Denoising Diffusion Probabilistic
Models for Blind Super-Resolution Reconstruction in RSIs [6.2678394285548755]
条件付きデノゲーション拡散確率モデル(DDPM)に基づく新しいブラインドSRフレームワークを提案する。
本研究では,カーネル推定の進展と再構築の進展という2つの側面から,条件付き分散確率モデル(DDPM)を導入する。
我々は、LR画像からHR画像へのマッピングを学習するためのDDPMベースの再構成器を構築する。
論文 参考訳(メタデータ) (2023-05-20T11:18:38Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳(メタデータ) (2022-10-09T06:58:58Z) - SVBRDF Recovery From a Single Image With Highlights using a Pretrained
Generative Adversarial Network [25.14140648820334]
本稿では,教師なし生成逆向ニューラルネットワーク(GAN)を用いて,SVBRDFsマップを入力として復元する。
SVBRDFを初期化するために訓練されたモデルを再利用し、入力画像に基づいて微調整する。
提案手法は,1枚の入力画像から高品質なSVBRDFマップを生成し,従来よりも鮮明なレンダリング結果を提供する。
論文 参考訳(メタデータ) (2021-10-29T10:39:06Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。