論文の概要: DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration

• arxiv url: http://arxiv.org/abs/2403.10098v1
• Date: Fri, 15 Mar 2024 08:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:59:52.065234
• Title: DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration
• Title（参考訳）: DiffMAC:高一般化ブラインド顔修復のための拡散マニフォールド幻覚矯正法
• Authors: Nan Gao, Jia Li, Huaibo Huang, Zhi Zeng, Ke Shang, Shuwu Zhang, Ran He,
• Abstract要約: 視覚障害者の視力回復を支援するための拡散情報拡散フレームワークを提案する。 DiffMACは、多種多様な劣化シーンと異種ドメインにおいて、高度な顔の復元を実現する。 結果は,最先端手法よりもDiffMACの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 62.44659039265439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration (BFR) is a highly challenging problem due to the uncertainty of degradation patterns. Current methods have low generalization across photorealistic and heterogeneous domains. In this paper, we propose a Diffusion-Information-Diffusion (DID) framework to tackle diffusion manifold hallucination correction (DiffMAC), which achieves high-generalization face restoration in diverse degraded scenes and heterogeneous domains. Specifically, the first diffusion stage aligns the restored face with spatial feature embedding of the low-quality face based on AdaIN, which synthesizes degradation-removal results but with uncontrollable artifacts for some hard cases. Based on Stage I, Stage II considers information compression using manifold information bottleneck (MIB) and finetunes the first diffusion model to improve facial fidelity. DiffMAC effectively fights against blind degradation patterns and synthesizes high-quality faces with attribute and identity consistencies. Experimental results demonstrate the superiority of DiffMAC over state-of-the-art methods, with a high degree of generalization in real-world and heterogeneous settings. The source code and models will be public.
• Abstract（参考訳）: ブラインドフェース修復(BFR)は, 劣化パターンの不確実性のため, 極めて困難な問題である。 現在の手法は、フォトリアリスティック領域とヘテロジニアス領域にまたがる低い一般化を持つ。 本稿では拡散多様体幻覚補正(DiffMAC)に取り組むための拡散情報拡散(DID)フレームワークを提案する。 具体的には、第1拡散段階は、復元された顔と、劣化除去結果を合成するAdaINに基づく低品質顔の空間的特徴埋め込みとを、ハードケースでは制御不能な人工物と整合させる。 ステージIに基づいて、ステージIIでは、多様体情報ボトルネック(MIB)を用いた情報圧縮を検討し、顔の忠実度を改善するための最初の拡散モデルとして微調整を行う。 DiffMACは、ブラインド劣化パターンに効果的に対抗し、属性とアイデンティティの相違による高品質な顔の合成を行う。 実験により、実世界および異種環境における高度な一般化により、最先端手法よりもDiffMACの方が優れていることが示された。 ソースコードとモデルは公開されます。

関連論文リスト

• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• DifFace: Blind Face Restoration with Diffused Error Contraction [62.476329680424975]
  DifFaceは、複雑な損失設計なしで、目に見えない複雑な劣化にもっと優しく対処できる。 現在の最先端の手法よりも優れており、特に深刻な劣化の場合には優れている。
  論文  参考訳（メタデータ） (2022-12-13T11:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。