論文の概要: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- arxiv url: http://arxiv.org/abs/2308.15070v2
- Date: Sun, 31 Mar 2024 08:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 15:44:31.025195
- Title: DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
- Title(参考訳): DiffBIR: 生成拡散に先立ってブラインド画像復元を目指す
- Authors: Xinqi Lin, Jingwen He, Ziyan Chen, Zhaoyang Lyu, Bo Dai, Fanghua Yu, Wanli Ouyang, Yu Qiao, Chao Dong,
- Abstract要約: DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
- 参考スコア(独自算出の注目度): 70.46245698746874
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We present DiffBIR, a general restoration pipeline that could handle different blind image restoration tasks in a unified framework. DiffBIR decouples blind image restoration problem into two stages: 1) degradation removal: removing image-independent content; 2) information regeneration: generating the lost image content. Each stage is developed independently but they work seamlessly in a cascaded manner. In the first stage, we use restoration modules to remove degradations and obtain high-fidelity restored results. For the second stage, we propose IRControlNet that leverages the generative ability of latent diffusion models to generate realistic details. Specifically, IRControlNet is trained based on specially produced condition images without distracting noisy content for stable generation performance. Moreover, we design a region-adaptive restoration guidance that can modify the denoising process during inference without model re-training, allowing users to balance realness and fidelity through a tunable guidance scale. Extensive experiments have demonstrated DiffBIR's superiority over state-of-the-art approaches for blind image super-resolution, blind face restoration and blind image denoising tasks on both synthetic and real-world datasets. The code is available at https://github.com/XPixelGroup/DiffBIR.
- Abstract(参考訳): DiffBIRは、異なる視覚的画像復元タスクを統一されたフレームワークで処理できる一般的な修復パイプラインである。
DiffBIRはブラインド画像復元問題を2段階に分割する。
1)劣化除去:画像に依存しない内容の除去
2)情報再生:失われた画像内容を生成する。
各ステージは独立して開発されるが、シームレスにカスケードされた方法で機能する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
具体的には、IRControlNetは、安定な生成性能のためにノイズの内容に気を散らすことなく、特別に生成された条件画像に基づいて訓練される。
さらに,モデル再学習を伴わずに推論中の復調過程を修正可能な地域適応型復元ガイダンスを設計し,調整可能な指導尺度を用いて実感と忠実さのバランスをとることができる。
大規模な実験により、DiffBIRは、合成データセットと実世界のデータセットの両方において、ブラインドイメージの超解像、ブラインドフェイスの復元、およびブラインドイメージの認知タスクに対する最先端のアプローチよりも優れていることが証明された。
コードはhttps://github.com/XPixelGroup/DiffBIRで入手できる。
関連論文リスト
- Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。
提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。
画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
論文 参考訳(メタデータ) (2024-05-29T23:38:12Z) - Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文 参考訳(メタデータ) (2023-11-20T09:55:06Z) - Dual-Diffusion: Dual Conditional Denoising Diffusion Probabilistic
Models for Blind Super-Resolution Reconstruction in RSIs [6.2678394285548755]
条件付きデノゲーション拡散確率モデル(DDPM)に基づく新しいブラインドSRフレームワークを提案する。
本研究では,カーネル推定の進展と再構築の進展という2つの側面から,条件付き分散確率モデル(DDPM)を導入する。
我々は、LR画像からHR画像へのマッピングを学習するためのDDPMベースの再構成器を構築する。
論文 参考訳(メタデータ) (2023-05-20T11:18:38Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳(メタデータ) (2022-10-09T06:58:58Z) - SVBRDF Recovery From a Single Image With Highlights using a Pretrained
Generative Adversarial Network [25.14140648820334]
本稿では,教師なし生成逆向ニューラルネットワーク(GAN)を用いて,SVBRDFsマップを入力として復元する。
SVBRDFを初期化するために訓練されたモデルを再利用し、入力画像に基づいて微調整する。
提案手法は,1枚の入力画像から高品質なSVBRDFマップを生成し,従来よりも鮮明なレンダリング結果を提供する。
論文 参考訳(メタデータ) (2021-10-29T10:39:06Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。