論文の概要: Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models
- arxiv url: http://arxiv.org/abs/2404.09732v1
- Date: Mon, 15 Apr 2024 12:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:30:43.243557
- Title: Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models
- Title(参考訳): 視覚・言語制御モデルによる野生の光リアリスティック画像復元
- Authors: Ziwei Luo, Fredrik K. Gustafsson, Zheng Zhao, Jens Sjölund, Thomas B. Schön,
- Abstract要約: この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
- 参考スコア(独自算出の注目度): 14.25759541950917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though diffusion models have been successfully applied to various image restoration (IR) tasks, their performance is sensitive to the choice of training datasets. Typically, diffusion models trained in specific datasets fail to recover images that have out-of-distribution degradations. To address this problem, this work leverages a capable vision-language model and a synthetic degradation pipeline to learn image restoration in the wild (wild IR). More specifically, all low-quality images are simulated with a synthetic degradation pipeline that contains multiple common degradations such as blur, resize, noise, and JPEG compression. Then we introduce robust training for a degradation-aware CLIP model to extract enriched image content features to assist high-quality image restoration. Our base diffusion model is the image restoration SDE (IR-SDE). Built upon it, we further present a posterior sampling strategy for fast noise-free image generation. We evaluate our model on both synthetic and real-world degradation datasets. Moreover, experiments on the unified image restoration task illustrate that the proposed posterior sampling improves image generation quality for various degradations.
- Abstract(参考訳): 拡散モデルは様々な画像復元(IR)タスクにうまく適用されているが、その性能はトレーニングデータセットの選択に敏感である。
通常、特定のデータセットでトレーニングされた拡散モデルは、分布外劣化のイメージの回復に失敗する。
この問題に対処するために,本研究では,視覚言語モデルと合成分解パイプラインを活用して野生(ワイルドIR)における画像復元を学習する。
より具体的には、すべての低品質画像は、ブラー、リサイズ、ノイズ、JPEG圧縮など、複数の一般的な劣化を含む合成分解パイプラインでシミュレートされる。
次に,高画質な画像復元を支援するために,高画質な画像コンテンツ特徴を抽出するための劣化対応CLIPモデルの堅牢なトレーニングを提案する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
さらに, 高速ノイズフリー画像生成のための後方サンプリング手法を提案する。
合成および実世界の劣化データセットを用いて,本モデルの評価を行った。
さらに, 画像復元タスクの統一化実験により, 種々の劣化に対する画像生成品質の向上が図られた。
関連論文リスト
- Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。
本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T11:56:26Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳(メタデータ) (2023-10-29T13:58:57Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳(メタデータ) (2023-08-18T08:40:38Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Super-resolution Reconstruction of Single Image for Latent features [8.857209365343646]
単一像超解像(SISR)は、通常、様々な劣化した低分解能(LR)画像を単一の高分解能(HR)画像に復元することに焦点を当てる。
モデルが細部やテクスチャの多様性を保ちながら、高品質かつ迅速なサンプリングを同時に維持することは、しばしば困難である。
この課題は、モデル崩壊、再構成されたHR画像におけるリッチディテールとテクスチャの特徴の欠如、モデルサンプリングの過剰な時間消費などの問題を引き起こす可能性がある。
論文 参考訳(メタデータ) (2022-11-16T09:37:07Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳(メタデータ) (2022-10-09T06:58:58Z) - Designing a Practical Degradation Model for Deep Blind Image
Super-Resolution [134.9023380383406]
単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。
本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
論文 参考訳(メタデータ) (2021-03-25T17:40:53Z) - Attention Based Real Image Restoration [48.933507352496726]
深層畳み込みニューラルネットワークは、合成劣化を含む画像に対してより良い性能を発揮する。
本稿では,新しい1段ブラインド実画像復元ネットワーク(R$2$Net)を提案する。
論文 参考訳(メタデータ) (2020-04-26T04:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。