論文の概要: Restoration by Generation with Constrained Priors
- arxiv url: http://arxiv.org/abs/2312.17161v1
- Date: Thu, 28 Dec 2023 17:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 15:19:36.996054
- Title: Restoration by Generation with Constrained Priors
- Title(参考訳): 制約前駆体による再生
- Authors: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia
- Abstract要約: 入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。
複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。
このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
- 参考スコア(独自算出の注目度): 28.30151629107902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inherent generative power of denoising diffusion models makes them
well-suited for image restoration tasks where the objective is to find the
optimal high-quality image within the generative space that closely resembles
the input image. We propose a method to adapt a pretrained diffusion model for
image restoration by simply adding noise to the input image to be restored and
then denoise. Our method is based on the observation that the space of a
generative model needs to be constrained. We impose this constraint by
finetuning the generative model with a set of anchor images that capture the
characteristics of the input image. With the constrained space, we can then
leverage the sampling strategy used for generation to do image restoration. We
evaluate against previous methods and show superior performances on multiple
real-world restoration datasets in preserving identity and image quality. We
also demonstrate an important and practical application on personalized
restoration, where we use a personal album as the anchor images to constrain
the generative space. This approach allows us to produce results that
accurately preserve high-frequency details, which previous works are unable to
do. Project webpage: https://gen2res.github.io.
- Abstract(参考訳): 消音拡散モデルの固有生成力は、入力画像によく似た生成空間内で最適な高品質の画像を見つけることを目的としている画像復元タスクに適している。
入力画像にノイズを付加して復元し,ノイズを解消することにより,画像復元に事前学習した拡散モデルを適用する手法を提案する。
本手法は,生成モデルの空間に制約を加える必要があるという観察に基づいている。
この制約を入力画像の特徴を捉えたアンカー画像の集合を用いて生成モデルを微調整することで行う。
制約された空間があれば、画像復元のために生成に使用されるサンプリング戦略を活用できる。
我々は,過去の手法に対して評価を行い,アイデンティティと画質の保存において,複数の実世界の復元データセット上で優れた性能を示す。
また,個人のアルバムをアンカー画像として使用して生成空間を制約する,パーソナライズされた修復に関する重要かつ実用的な応用例を示す。
このアプローチにより、以前の作品ではできなかった高周波の細部を正確に保存できる結果が得られます。
プロジェクトWebページ: https://gen2res.github.io
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Regeneration Based Training-free Attribution of Fake Images Generated by
Text-to-Image Generative Models [39.33821502730661]
そこで本研究では,テキスト・ツー・イメージ・モデルによって生成された偽画像をソース・モデルに属性付けするためのトレーニング不要な手法を提案する。
テスト画像と候補画像の類似性を計算し、ランキングすることにより、画像のソースを決定することができる。
論文 参考訳(メタデータ) (2024-03-03T11:55:49Z) - Diffusion Posterior Proximal Sampling for Image Restoration [28.388405376136095]
拡散に基づく画像復元アルゴリズムは、事前訓練された拡散モデルを利用してデータ事前を利用する。
これらの戦略は、純白色雑音による雑音発生プロセスを開始し、各生成段階にランダムノイズを取り入れ、過度に滑らかな結果をもたらす。
本稿では拡散に基づく画像復元のための洗練されたパラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-25T04:24:28Z) - CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳(メタデータ) (2024-02-08T23:51:49Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳(メタデータ) (2021-12-08T21:39:00Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-11-18T18:59:10Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z) - Perceptual Image Restoration with High-Quality Priori and Degradation
Learning [28.93489249639681]
本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。
同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
論文 参考訳(メタデータ) (2021-03-04T13:19:50Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳(メタデータ) (2020-03-30T17:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。