論文の概要: Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior

• arxiv url: http://arxiv.org/abs/2205.14377v1
• Date: Sat, 28 May 2022 09:23:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 16:09:38.243250
• Title: Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior
• Title（参考訳）: 局所的弱特徴センシングとgan前処理によるポーズ変化顔の復元品質の向上
• Authors: Kai Hu, Yu Liu, Renhe Liu, Wei Lu, Gang Yu, Bin Fu
• Abstract要約: 本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。 非対称性では、入力画像の弱いテクスチャ特徴を徐々に抽出するために混合マルチパス残差ブロック(MMRB)を採用する。 本モデルは,顔復元データセットや超解像課題に対する先行技術よりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 29.17397958948725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial semantic guidance (facial landmarks, facial parsing maps, facial heatmaps, etc.) and facial generative adversarial networks (GAN) prior have been widely used in blind face restoration (BFR) in recent years. Although existing BFR methods have achieved good performance in ordinary cases, these solutions have limited resilience when applied to face images with serious degradation and pose-varied (look up, look down, laugh, etc.) in real-world scenarios. In this work, we propose a well-designed blind face restoration network with generative facial prior. The proposed network is mainly comprised of an asymmetric codec and StyleGAN2 prior network. In the asymmetric codec, we adopt a mixed multi-path residual block (MMRB) to gradually extract weak texture features of input images, which can improve the texture integrity and authenticity of our networks. Furthermore, the MMRB block can also be plug-and-play in any other network. Besides, a novel self-supervised training strategy is specially designed for face restoration tasks to fit the distribution closer to the target and maintain training stability. Extensive experiments over synthetic and real-world datasets demonstrate that our model achieves superior performance to the prior art for face restoration and face super-resolution tasks and can tackle seriously degraded face images in diverse poses and expressions.
• Abstract（参考訳）: 顔意味指導(顔のランドマーク、顔のパースマップ、顔のヒートマップなど)や顔生成逆境ネットワーク(gan)は、近年、ブラインド・フェイス・リバイバル(bfr)で広く使われている。 既存のbfr手法は一般的なケースでは良好な性能を発揮するが、重度の劣化やポーズ変化(見上げ、見下し、笑うなど)のある顔画像に適用した場合のレジリエンスは限られている。 そこで本研究では,前向きに顔を生成するブラインドフェイス修復ネットワークを提案する。 提案するネットワークは主に非対称コーデックとstylegan2プリエントネットワークで構成される。 非対称コーデックでは、混合マルチパス残差ブロック(MMRB)を用いて、入力画像の弱いテクスチャ特徴を徐々に抽出し、ネットワークのテクスチャの整合性と信頼性を向上させる。 さらに、MMRBブロックは他のネットワークでもプラグイン・アンド・プレイできる。 また, 顔修復作業において, 目標に近い分布に適合し, 訓練安定性を維持するために, 新たな自己指導型トレーニング戦略を考案した。 合成および実世界のデータセットに関する広範囲な実験により,本モデルは,顔の復元や超解像タスクに先行する技術よりも優れた性能を達成でき,多彩なポーズや表情で重度に劣化した顔画像に対処できることを示した。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Towards Real-World Blind Face Restoration with Generative Diffusion Prior [69.84480964328465]
  ブラインド顔の復元はコンピュータビジョンにおいて重要な課題であり、広範囲の応用により注目されている。 低画質の顔画像から特徴を効果的に抽出するBFRffusionを提案する。 また、人種、性別、年齢といったバランスのとれた属性を備えたPFHQというプライバシ保護顔データセットも構築しています。
  論文  参考訳（メタデータ） (2023-12-25T14:16:24Z)
• FaceFormer: Scale-aware Blind Face Restoration with Transformers [18.514630131883536]
  そこで我々は,顔の特徴回復をスケール・アウェア・トランスフォーメーションとして定式化する,FaceFormerという新しい顔修復フレームワークを提案する。 提案手法は, 合成データセットを用いて, 現在の最先端画像よりも, 自然な低品質画像を一般化する。
  論文  参考訳（メタデータ） (2022-07-20T10:08:34Z)
• Multi-Prior Learning via Neural Architecture Search for Blind Face Restoration [61.27907052910136]
  Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。 1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。 特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
  論文  参考訳（メタデータ） (2022-06-28T12:29:53Z)
• Reconstruct Face from Features Using GAN Generator as a Distribution Constraint [17.486032607577577]
  深層畳み込みニューラルネットワーク(CNN)に基づく顔認識は、抽出された高い識別特性に起因する精度の高い性能を示す。 しかし、ディープラーニングモデル(ディープ機能)から抽出した機能のセキュリティとプライバシは、しばしば見過ごされている。 本稿では,CNNネットワーク構成にアクセスすることなく,深い特徴から顔画像の再構成を提案する。
  論文  参考訳（メタデータ） (2022-06-09T06:11:59Z)
• TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network [72.41798177302175]
  本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。 具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
  論文  参考訳（メタデータ） (2021-09-16T18:15:07Z)
• Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
  Inpainting Generative Adversarial Network, Pro-UIGANを提案する。 顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。 Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-02T02:29:24Z)
• Towards Real-World Blind Face Restoration with Generative Facial Prior [19.080349401153097]
  盲目の顔の復元は通常、現実的で忠実な詳細を復元するために、顔の形状の事前または参照などの顔の優先度に依存します。 本稿では,前訓練顔GANにカプセル化される多彩で多様な前駆体を利用してブラインドフェイス修復を行うGFP-GANを提案する。 本手法は,合成データと実世界データの両方において,先行技術よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T17:54:38Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。