論文の概要: Synthesizing Realistic Image Restoration Training Pairs: A Diffusion
Approach
- arxiv url: http://arxiv.org/abs/2303.06994v1
- Date: Mon, 13 Mar 2023 10:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 15:36:48.701312
- Title: Synthesizing Realistic Image Restoration Training Pairs: A Diffusion
Approach
- Title（参考訳）: リアルな画像復元訓練ペアの合成:拡散アプローチ
- Authors: Tao Yang and Peiran Ren and Xuansong xie and Lei Zhang
- Abstract要約: 教師付き画像復元タスクでは、高品質(HQ)と低品質(LQ)のトレーニングイメージペアをどのように取得するかが課題である。
現像拡散確率モデル(DDPM)を用いた現実的画像復元訓練ペアの合成手法を提案する。
分散近似におけるDDPMの強い能力により、合成されたHQ-LQイメージペアは、実世界の画像復元タスクのための堅牢なモデルをトレーニングするために使用することができる。
- 参考スコア（独自算出の注目度）: 24.41545801521035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In supervised image restoration tasks, one key issue is how to obtain the
aligned high-quality (HQ) and low-quality (LQ) training image pairs.
Unfortunately, such HQ-LQ training pairs are hard to capture in practice, and
hard to synthesize due to the complex unknown degradation in the wild. While
several sophisticated degradation models have been manually designed to
synthesize LQ images from their HQ counterparts, the distribution gap between
the synthesized and real-world LQ images remains large. We propose a new
approach to synthesizing realistic image restoration training pairs using the
emerging denoising diffusion probabilistic model (DDPM).
First, we train a DDPM, which could convert a noisy input into the desired LQ
image, with a large amount of collected LQ images, which define the target data
distribution. Then, for a given HQ image, we synthesize an initial LQ image by
using an off-the-shelf degradation model, and iteratively add proper Gaussian
noises to it. Finally, we denoise the noisy LQ image using the pre-trained DDPM
to obtain the final LQ image, which falls into the target distribution of
real-world LQ images. Thanks to the strong capability of DDPM in distribution
approximation, the synthesized HQ-LQ image pairs can be used to train robust
models for real-world image restoration tasks, such as blind face image
restoration and blind image super-resolution. Experiments demonstrated the
superiority of our proposed approach to existing degradation models. Code and
data will be released.
- Abstract（参考訳）: 教師付き画像復元タスクでは、アライメントされた高品質(hq)と低品質(lq)のトレーニング画像ペアを取得する方法が鍵となる。
残念なことに、HQ-LQトレーニングペアは実際には捕獲が困難であり、野生の複雑な未知の劣化のために合成が困難である。
いくつかの高度な劣化モデルが本社構内からLQ画像を合成するために手動で設計されているが、合成されたLQ画像と実世界のLQ画像の分布ギャップは大きいままである。
本研究では,新たな拡散確率モデル(ddpm)を用いた画像復元訓練ペアの合成手法を提案する。
まず,ノイズの多い入力を所望のLQ画像に変換するDDPMを,目標データ分布を定義する大量のLQ画像を用いて訓練する。
そして,任意のhq画像に対して,既定分解モデルを用いて初期lq画像を合成し,それに対して適切なガウス雑音を反復的に付加する。
最後に、事前学習したddpmを用いてノイズの多いlq画像から最終lq画像を取得し、実世界のlq画像のターゲット分布に陥る。
分散近似におけるDDPMの強い能力により、合成されたHQ-LQイメージペアは、ブラインド顔画像復元やブラインド画像超解像などの実世界の画像復元タスクのための堅牢なモデルを訓練するために使用できる。
既存の劣化モデルに対する提案手法の優位性を示す実験を行った。
コードとデータはリリースされる。
関連論文リスト
- One-Step Effective Diffusion Network for Real-World Image Super-Resolution [11.326598938246558]
本稿では,Real-ISR問題に対する1ステップの効果的な拡散ネットワーク,すなわちOSEDiffを提案する。
トレーニング可能な層で事前学習した拡散ネットワークを微調整し、複雑な画像劣化に適応する。
我々のOSEDiffモデルは1つの拡散ステップでHQイメージを効率よく効果的に生成できる。
論文 参考訳（メタデータ） (2024-06-12T13:10:31Z) - Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。
まず、回帰損失と高価なデータセット構築の必要性を排除します。
第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文 参考訳（メタデータ） (2024-05-23T17:59:49Z) - Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
論文 参考訳（メタデータ） (2024-04-15T12:34:21Z) - DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。
スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。
本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
論文 参考訳（メタデータ） (2024-04-09T09:05:23Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳（メタデータ） (2023-11-20T08:27:56Z) - Dual Associated Encoder for Face Restoration [68.49568459672076]
低品質(LQ)画像から顔の詳細を復元するために,DAEFRという新しいデュアルブランチフレームワークを提案する。
提案手法では,LQ入力から重要な情報を抽出する補助的なLQ分岐を導入する。
合成と実世界の両方のデータセットに対するDAEFRの有効性を評価する。
論文 参考訳（メタデータ） (2023-08-14T17:58:33Z) - Hierarchical Conditional Flow: A Unified Framework for Image
Super-Resolution and Image Rescaling [139.25215100378284]
画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。
HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。
さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
論文 参考訳（メタデータ） (2021-08-11T16:11:01Z) - Perceptual Image Restoration with High-Quality Priori and Degradation
Learning [28.93489249639681]
本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。
同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
論文 参考訳（メタデータ） (2021-03-04T13:19:50Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and
Wild [98.48284827503409]
我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。
我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。
6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
論文 参考訳（メタデータ） (2020-05-28T13:35:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。