論文の概要: Learning Dual Memory Dictionaries for Blind Face Restoration

• arxiv url: http://arxiv.org/abs/2210.08160v1
• Date: Sat, 15 Oct 2022 01:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:01:49.625862
• Title: Learning Dual Memory Dictionaries for Blind Face Restoration
• Title（参考訳）: ブラインド顔復元のための二重記憶辞書の学習
• Authors: Xiaoming Li, Shiguang Zhang, Shangchen Zhou, Lei Zhang, Wangmeng Zuo
• Abstract要約: 最近の研究は、主に2つの側面、すなわち、ジェネリックと特定の修復を別々に扱う。 本稿では,2つの辞書を通したジェネリックおよび特定の特徴を明示的に記憶することでDMDNetを提案する。 CelebRef-HQと呼ばれる新しい高品質なデータセットは、高解像度空間における特定の顔復元の探索を促進するために構築されている。
• 参考スコア（独自算出の注目度）: 75.66195723349512
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To improve the performance of blind face restoration, recent works mainly treat the two aspects, i.e., generic and specific restoration, separately. In particular, generic restoration attempts to restore the results through general facial structure prior, while on the one hand, cannot generalize to real-world degraded observations due to the limited capability of direct CNNs' mappings in learning blind restoration, and on the other hand, fails to exploit the identity-specific details. On the contrary, specific restoration aims to incorporate the identity features from the reference of the same identity, in which the requirement of proper reference severely limits the application scenarios. Generally, it is a challenging and intractable task to improve the photo-realistic performance of blind restoration and adaptively handle the generic and specific restoration scenarios with a single unified model. Instead of implicitly learning the mapping from a low-quality image to its high-quality counterpart, this paper suggests a DMDNet by explicitly memorizing the generic and specific features through dual dictionaries. First, the generic dictionary learns the general facial priors from high-quality images of any identity, while the specific dictionary stores the identity-belonging features for each person individually. Second, to handle the degraded input with or without specific reference, dictionary transform module is suggested to read the relevant details from the dual dictionaries which are subsequently fused into the input features. Finally, multi-scale dictionaries are leveraged to benefit the coarse-to-fine restoration. Moreover, a new high-quality dataset, termed CelebRef-HQ, is constructed to promote the exploration of specific face restoration in the high-resolution space.
• Abstract（参考訳）: ブラインドフェイス修復の性能を向上させるため、最近の研究は主に2つの側面、すなわちジェネリックと特定の修復を別々に扱う。 特に、ジェネリック修復は、視覚障害者の回復を学習するときに直接cnnのマッピングの能力が限られているため、実世界の劣化した観察に一般化できない、一方、アイデンティティ特有の詳細を活用できないという、一般的な顔構造を通して結果を復元しようとする試みである。 それとは対照的に、特定の復元は、適切な参照の要求がアプリケーションシナリオを厳しく制限する同じアイデンティティの参照からid機能を取り入れることを目的としている。 一般に、ブラインド修復のフォトリアリスティックな性能を改善し、単一の統一モデルでジェネリックおよび特定の修復シナリオを適応的に処理することは困難かつ難解な作業である。 そこで本稿では,低画質画像から高画質画像へのマッピングを暗黙的に学習する代わりに,DMDNetを2つの辞書で明示的に記憶する手法を提案する。 まず、ジェネリックディクショナリは、任意のアイデンティティの高品質な画像から一般的な顔前処理を学習し、特定のディクショナリは、個々に個々に識別長の特徴を記憶する。 第二に、劣化した入力を特定の参照の有無に関わらず処理するために、辞書変換モジュールは、入力特徴に融合した二重辞書から関連する詳細を読み取るように提案する。 最後に、多スケール辞書を利用して粗大な修復を行う。 さらに、CelebRef-HQと呼ばれる新しい高品質データセットを構築し、高解像度空間における特定の顔復元の探索を促進する。

関連論文リスト

• Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
  本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。 MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。 5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-05T13:46:56Z)
• Personalized Restoration via Dual-Pivot Tuning [18.912158172904654]
  そこで我々は、Dual-Pivot Tuningと呼ばれるパーソナライズされた復元方法を提案する。 私たちのキーとなる観察は、最適なパーソナライズのために、生成モデルは固定されたテキストピボットを中心に調整されるべきであるということです。 このアプローチは、パーソナライゼーションが復元プロセスに干渉しないことを保証し、結果として、人物のアイデンティティと劣化した画像の属性に忠実な自然な外観をもたらす。
  論文  参考訳（メタデータ） (2023-12-28T18:57:49Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs [63.991802204929485]
  ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。 現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。 RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。 RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-08-14T16:04:53Z)
• RestoreFormer: High-Quality Blind Face Restoration From Undegraded Key-Value Pairs [48.33214614798882]
  RestoreFormerを提案する。これはコンテキスト情報をモデル化するための完全な空間的注意を探索する。 破損したクエリと高品質なキー-バリューペア間の完全な空間的相互作用を学習する。 1つの合成データセットと3つの実世界のデータセットにおいて、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-01-17T12:21:55Z)
• Orthonormal Product Quantization Network for Scalable Face Image Retrieval [14.583846619121427]
  本稿では、製品量化と正規の制約をエンドツーエンドのディープラーニングフレームワークに統合し、顔画像を取得する。 事前定義された正規直交ベクトルをコードワードとして用いる新しいスキームを提案し,量子化情報性を高め,符号ワードの冗長性を低減した。 4つの顔データセットに対して、目視と目視の両方のID検索設定で実験を行う。
  論文  参考訳（メタデータ） (2021-07-01T09:30:39Z)
• Blind Face Restoration via Deep Multi-scale Component Dictionaries [75.02640809505277]
  劣化した観測の復元過程をガイドするディープフェイス辞書ネットワーク(DFDNet)を提案する。 DFDNetは高品質な画像から知覚的に重要な顔成分のディープ辞書を生成する。 コンポーネントAdaINは、入力機能と辞書機能の間のスタイルの多様性を取り除くために利用される。
  論文  参考訳（メタデータ） (2020-08-02T07:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。