論文の概要: Restoration by Generation with Constrained Priors

• arxiv url: http://arxiv.org/abs/2312.17161v2
• Date: Sat, 1 Jun 2024 07:03:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:52:07.774115
• Title: Restoration by Generation with Constrained Priors
• Title（参考訳）: 制約された前駆体による再生
• Authors: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia,
• Abstract要約: 入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。 複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。 このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
• 参考スコア（独自算出の注目度）: 25.906981634736795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.
• Abstract（参考訳）: 拡散モデルの固有生成力は、入力画像によく似た生成空間内で最適な高品質な画像を見つけることを目的とした画像復元作業に適している。 入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。 本手法は,生成モデルの空間に制約を加える必要があるという観察に基づいている。 この制約を入力画像の特徴を捉えたアンカー画像の集合を用いて生成モデルを微調整することで行う。 制約された空間では、生成に使用されるサンプリング戦略を利用して画像復元を行うことができる。 我々は,過去の手法に対して評価を行い,アイデンティティと画像品質の保存において,複数の実世界の復元データセット上で優れた性能を示す。 また、パーソナライズされた復元の重要かつ実践的な応用を実証し、パーソナライズされたアルバムをアンカーイメージとして使用し、生成空間を制約する。 このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。 プロジェクトWebページ: https://gen2res.github.io

関連論文リスト

• Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
  ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
  論文  参考訳（メタデータ） (2024-10-06T20:38:14Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• How to Trace Latent Generative Model Generated Images without Artificial Watermark? [88.04880564539836]
  潜在生成モデルによって生成された画像に関する潜在的な誤用に関する懸念が持ち上がっている。 検査されたモデルの生成された画像をトレースするために,レイトタントトラッカーと呼ばれる潜時反転に基づく手法を提案する。 提案手法は,検査したモデルと他の画像から生成された画像とを高精度かつ効率的に識別できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T05:33:47Z)
• Active Generation for Image Classification [45.93535669217115]
  本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。 能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
  論文  参考訳（メタデータ） (2024-03-11T08:45:31Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Perceptual Image Restoration with High-Quality Priori and Degradation Learning [28.93489249639681]
  本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。 同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
  論文  参考訳（メタデータ） (2021-03-04T13:19:50Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。