論文の概要: RestoreFormer: High-Quality Blind Face Restoration From Undegraded
Key-Value Pairs
- arxiv url: http://arxiv.org/abs/2201.06374v1
- Date: Mon, 17 Jan 2022 12:21:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 16:18:53.113636
- Title: RestoreFormer: High-Quality Blind Face Restoration From Undegraded
Key-Value Pairs
- Title(参考訳): RestoreFormer: 分解されていないキーバリューペアから高品質のブラインド顔復元
- Authors: Zhouxia Wang, Jiawei Zhang, Runjian Chen, Wenping Wang and Ping Luo
- Abstract要約: RestoreFormerを提案する。これはコンテキスト情報をモデル化するための完全な空間的注意を探索する。
破損したクエリと高品質なキー-バリューペア間の完全な空間的相互作用を学習する。
1つの合成データセットと3つの実世界のデータセットにおいて、最先端の手法よりも優れています。
- 参考スコア(独自算出の注目度): 48.33214614798882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Blind face restoration is to recover a high-quality face image from unknown
degradations. As face image contains abundant contextual information, we
propose a method, RestoreFormer, which explores fully-spatial attentions to
model contextual information and surpasses existing works that use local
operators. RestoreFormer has several benefits compared to prior arts. First,
unlike the conventional multi-head self-attention in previous Vision
Transformers (ViTs), RestoreFormer incorporates a multi-head cross-attention
layer to learn fully-spatial interactions between corrupted queries and
high-quality key-value pairs. Second, the key-value pairs in ResotreFormer are
sampled from a reconstruction-oriented high-quality dictionary, whose elements
are rich in high-quality facial features specifically aimed for face
reconstruction, leading to superior restoration results. Third, RestoreFormer
outperforms advanced state-of-the-art methods on one synthetic dataset and
three real-world datasets, as well as produces images with better visual
quality.
- Abstract(参考訳): ブラインド顔復元は、未知の劣化から高品質な顔画像を取り戻すことである。
顔画像には文脈情報が豊富に存在するため,文脈情報をモデル化し,局所演算子を用いた既存の作業を超える全空間的注意を探索する手法であるRestoreFormerを提案する。
RestoreFormerは、先行技術と比較していくつかの利点がある。
第一に、以前のVision Transformer(ViTs)の従来のマルチヘッド自己アテンションとは異なり、RestoreFormerはマルチヘッドのクロスアテンション層を組み込んで、破損したクエリと高品質なキー値ペア間の完全な空間的相互作用を学習する。
第2に、顔再建に特化した高品質な顔特徴に富んだ再構成指向の高品位辞書から、resotreformerのキー値対をサンプリングし、優れた復元結果を得る。
第3に、restoreformerは1つの合成データセットと3つの実世界のデータセットで最先端の最先端のメソッドを上回り、より優れた視覚品質のイメージを生成する。
関連論文リスト
- Effective Adapter for Face Recognition in the Wild [77.09252386558362]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。
従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。
高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文 参考訳(メタデータ) (2023-12-04T08:55:46Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-08-14T16:04:53Z) - Learning Dual Memory Dictionaries for Blind Face Restoration [75.66195723349512]
最近の研究は、主に2つの側面、すなわち、ジェネリックと特定の修復を別々に扱う。
本稿では,2つの辞書を通したジェネリックおよび特定の特徴を明示的に記憶することでDMDNetを提案する。
CelebRef-HQと呼ばれる新しい高品質なデータセットは、高解像度空間における特定の顔復元の探索を促進するために構築されている。
論文 参考訳(メタデータ) (2022-10-15T01:55:41Z) - Self-supervised High-fidelity and Re-renderable 3D Facial Reconstruction
from a Single Image [19.0074836183624]
そこで本研究では,高品質な3次元顔の再構築を目的とした,新たな自己教師型学習フレームワークを提案する。
我々のフレームワークは質的比較と量的比較の両方において最先端のアプローチを大幅に上回っている。
論文 参考訳(メタデータ) (2021-11-16T08:10:24Z) - Joint Face Image Restoration and Frontalization for Recognition [79.78729632975744]
現実世界のシナリオでは、大きなポーズ、悪い照明、低解像度、ぼやけ、ノイズなど、多くの要因が顔認識性能を損なう可能性がある。
それまでの努力は通常、まず品質の低い顔から高品質な顔に復元し、次に顔認識を行う。
与えられた低品質の顔からフロンダル化された高品質の顔を復元する多段階顔復元モデルを提案する。
論文 参考訳(メタデータ) (2021-05-12T03:52:41Z) - Deep Face Super-Resolution with Iterative Collaboration between
Attentive Recovery and Landmark Estimation [92.86123832948809]
本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。
各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。
新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
論文 参考訳(メタデータ) (2020-03-29T16:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。