論文の概要: Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models
- arxiv url: http://arxiv.org/abs/2404.09732v1
- Date: Mon, 15 Apr 2024 12:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:30:43.243557
- Title: Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models
- Title（参考訳）: 視覚・言語制御モデルによる野生の光リアリスティック画像復元
- Authors: Ziwei Luo, Fredrik K. Gustafsson, Zheng Zhao, Jens Sjölund, Thomas B. Schön,
- Abstract要約: この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
- 参考スコア（独自算出の注目度）: 14.25759541950917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though diffusion models have been successfully applied to various image restoration (IR) tasks, their performance is sensitive to the choice of training datasets. Typically, diffusion models trained in specific datasets fail to recover images that have out-of-distribution degradations. To address this problem, this work leverages a capable vision-language model and a synthetic degradation pipeline to learn image restoration in the wild (wild IR). More specifically, all low-quality images are simulated with a synthetic degradation pipeline that contains multiple common degradations such as blur, resize, noise, and JPEG compression. Then we introduce robust training for a degradation-aware CLIP model to extract enriched image content features to assist high-quality image restoration. Our base diffusion model is the image restoration SDE (IR-SDE). Built upon it, we further present a posterior sampling strategy for fast noise-free image generation. We evaluate our model on both synthetic and real-world degradation datasets. Moreover, experiments on the unified image restoration task illustrate that the proposed posterior sampling improves image generation quality for various degradations.
- Abstract（参考訳）: 拡散モデルは様々な画像復元(IR)タスクにうまく適用されているが、その性能はトレーニングデータセットの選択に敏感である。
通常、特定のデータセットでトレーニングされた拡散モデルは、分布外劣化のイメージの回復に失敗する。
この問題に対処するために,本研究では,視覚言語モデルと合成分解パイプラインを活用して野生(ワイルドIR)における画像復元を学習する。
より具体的には、すべての低品質画像は、ブラー、リサイズ、ノイズ、JPEG圧縮など、複数の一般的な劣化を含む合成分解パイプラインでシミュレートされる。
次に,高画質な画像復元を支援するために,高画質な画像コンテンツ特徴を抽出するための劣化対応CLIPモデルの堅牢なトレーニングを提案する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
さらに, 高速ノイズフリー画像生成のための後方サンプリング手法を提案する。
合成および実世界の劣化データセットを用いて,本モデルの評価を行った。
さらに, 画像復元タスクの統一化実験により, 種々の劣化に対する画像生成品質の向上が図られた。
関連論文リスト
- Dual-Representation Interaction Driven Image Quality Assessment with Restoration Assistance [11.983231834400698]
歪み画像の非参照画像品質評価は、画像内容のばらつきと歪みの多様性のために常に難しい問題である。
以前のIQAモデルは、主に、品質スコア予測のための品質認識表現を得るために、合成画像の明示的な単一品質特徴を符号化していた。
低画質画像の劣化・品質情報を別々にモデル化するDRI法を提案する。
論文 参考訳（メタデータ） (2024-11-26T12:48:47Z) - Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。
本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
論文 参考訳（メタデータ） (2024-11-25T09:26:34Z) - Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。
このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。
コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
論文 参考訳（メタデータ） (2024-08-13T08:08:45Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。
本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T11:56:26Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳（メタデータ） (2023-10-29T13:58:57Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳（メタデータ） (2023-03-13T06:05:18Z) - Super-resolution Reconstruction of Single Image for Latent features [8.857209365343646]
単一像超解像(SISR)は、通常、様々な劣化した低分解能(LR)画像を単一の高分解能(HR)画像に復元することに焦点を当てる。
モデルが細部やテクスチャの多様性を保ちながら、高品質かつ迅速なサンプリングを同時に維持することは、しばしば困難である。
この課題は、モデル崩壊、再構成されたHR画像におけるリッチディテールとテクスチャの特徴の欠如、モデルサンプリングの過剰な時間消費などの問題を引き起こす可能性がある。
論文 参考訳（メタデータ） (2022-11-16T09:37:07Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳（メタデータ） (2022-10-09T06:58:58Z) - Attention Based Real Image Restoration [48.933507352496726]
深層畳み込みニューラルネットワークは、合成劣化を含む画像に対してより良い性能を発揮する。
本稿では,新しい1段ブラインド実画像復元ネットワーク(R$2$Net)を提案する。
論文 参考訳（メタデータ） (2020-04-26T04:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。