論文の概要: Towards Unsupervised Blind Face Restoration using Diffusion Prior

• arxiv url: http://arxiv.org/abs/2410.04618v1
• Date: Sun, 6 Oct 2024 20:38:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 06:26:32.359929
• Title: Towards Unsupervised Blind Face Restoration using Diffusion Prior
• Title（参考訳）: 拡散前処理による無監督ブラインド顔修復に向けて
• Authors: Tianshu Kuai, Sina Honari, Igor Gilitschenski, Alex Levinshtein,
• Abstract要約: ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
• 参考スコア（独自算出の注目度）: 12.69610609088771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration methods have shown remarkable performance, particularly when trained on large-scale synthetic datasets with supervised learning. These datasets are often generated by simulating low-quality face images with a handcrafted image degradation pipeline. The models trained on such synthetic degradations, however, cannot deal with inputs of unseen degradations. In this paper, we address this issue by using only a set of input images, with unknown degradations and without ground truth targets, to fine-tune a restoration model that learns to map them to clean and contextually consistent outputs. We utilize a pre-trained diffusion model as a generative prior through which we generate high quality images from the natural image distribution while maintaining the input image content through consistency constraints. These generated images are then used as pseudo targets to fine-tune a pre-trained restoration model. Unlike many recent approaches that employ diffusion models at test time, we only do so during training and thus maintain an efficient inference-time performance. Extensive experiments show that the proposed approach can consistently improve the perceptual quality of pre-trained blind face restoration models while maintaining great consistency with the input contents. Our best model also achieves the state-of-the-art results on both synthetic and real-world datasets.
• Abstract（参考訳）: ブラインド顔復元法は、特に教師付き学習を伴う大規模合成データセットで訓練された場合、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 しかし、このような合成劣化を訓練したモデルは、目に見えない劣化の入力には対応できない。 本稿では, 入力画像の集合のみを用いて, 未知の劣化, 真理の目標を含まないことで, クリーンでコンテキスト的に一貫した出力にマップする方法を学習する復元モデルを微調整する。 我々は,入力画像の内容の一貫性を保ちながら,自然画像の分布から高品質な画像を生成するための事前学習拡散モデルを構築した。 これらの生成された画像は、トレーニング済みの復元モデルを微調整するために擬似ターゲットとして使用される。 テスト時に拡散モデルを採用する最近の多くのアプローチとは異なり、トレーニング中にのみ行うので、効率的な推論時間性能を維持することができる。 広汎な実験により,提案手法は,入力内容との整合性を保ちつつ,事前学習したブラインドフェイス復元モデルの知覚品質を一貫して向上させることができることが示された。 我々の最良のモデルは、合成と実世界の両方のデータセットにおける最先端の結果も達成します。

関連論文リスト

• Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
  汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。 我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-11-17T09:39:50Z)
• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
  本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。 筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
  論文  参考訳（メタデータ） (2024-10-15T03:54:59Z)
• Enhancing Consistency-Based Image Generation via Adversarialy-Trained Classification and Energy-Based Discrimination [13.238373528922194]
  本稿では,一貫性に基づく画像の生成を後処理する新しい手法を提案し,その知覚的品質を向上させる。 本手法では,両部位を逆向きに訓練する共同分類器-識別器モデルを用いる。 このジョイントマシンの指導の下で、サンプル特異的な投影勾配を用いることで、合成画像を洗練し、ImageNet 64x64データセット上でFIDスコアを改良した。
  論文  参考訳（メタデータ） (2024-05-25T14:53:52Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Improved Autoregressive Modeling with Distribution Smoothing [106.14646411432823]
  オートレグレッシブモデルは画像圧縮に優れていますが、そのサンプル品質はしばしば欠けています。 敵対的防御法の成功に触発されて,ランダム化平滑化を自己回帰的生成モデルに取り入れた。
  論文  参考訳（メタデータ） (2021-03-28T09:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。