論文の概要: Progressive Semantic-Aware Style Transformation for Blind Face
Restoration
- arxiv url: http://arxiv.org/abs/2009.08709v2
- Date: Sun, 21 Mar 2021 09:35:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 03:17:52.502075
- Title: Progressive Semantic-Aware Style Transformation for Blind Face
Restoration
- Title（参考訳）: ブラインドフェース修復のためのプログレッシブ・セマンティクス・アウェア・スタイル変換
- Authors: Chaofeng Chen, Xiaoming Li, Lingbo Yang, Xianhui Lin, Lei Zhang,
Kwan-Yee K. Wong
- Abstract要約: 顔の復元のために,PSFR-GAN という新しいプログレッシブ・セマンティック・アウェア・スタイルの変換フレームワークを提案する。
提案したPSFR-GANは、入力ペアの異なるスケールからのセマンティック(パーシングマップ)とピクセル(LQ画像)空間情報をフル活用する。
実験結果から, 合成LQ入力に対して, より現実的な高分解能な結果が得られるだけでなく, 自然なLQ顔画像の一般化にも有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 26.66332852514812
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Face restoration is important in face image processing, and has been widely
studied in recent years. However, previous works often fail to generate
plausible high quality (HQ) results for real-world low quality (LQ) face
images. In this paper, we propose a new progressive semantic-aware style
transformation framework, named PSFR-GAN, for face restoration. Specifically,
instead of using an encoder-decoder framework as previous methods, we formulate
the restoration of LQ face images as a multi-scale progressive restoration
procedure through semantic-aware style transformation. Given a pair of LQ face
image and its corresponding parsing map, we first generate a multi-scale
pyramid of the inputs, and then progressively modulate different scale features
from coarse-to-fine in a semantic-aware style transfer way. Compared with
previous networks, the proposed PSFR-GAN makes full use of the semantic
(parsing maps) and pixel (LQ images) space information from different scales of
input pairs. In addition, we further introduce a semantic aware style loss
which calculates the feature style loss for each semantic region individually
to improve the details of face textures. Finally, we pretrain a face parsing
network which can generate decent parsing maps from real-world LQ face images.
Experiment results show that our model trained with synthetic data can not only
produce more realistic high-resolution results for synthetic LQ inputs and but
also generalize better to natural LQ face images compared with state-of-the-art
methods. Codes are available at https://github.com/chaofengc/PSFRGAN.
- Abstract（参考訳）: 顔の復元は顔の画像処理において重要であり、近年広く研究されている。
しかし、以前の研究では、実世界の低品質 (LQ) の顔画像に対して、高画質 (HQ) の結果が得られなかった場合が多い。
本稿では,顔の復元のためのプログレッシブセマンティック・アウェア変換フレームワークPSFR-GANを提案する。
具体的には,先行手法としてエンコーダ・デコーダ・フレームワークを使用する代わりに,意味認識型変換による多元的プログレッシブ復元手順としてlq顔画像の復元を定式化する。
1対のLQ顔画像とそれに対応する解析マップが与えられた後、まず入力のマルチスケールピラミッドを生成し、その後、意味認識スタイルの転送方法で、粗大から細大まで様々な特徴を段階的に変調する。
従来のネットワークと比較して,提案したPSFR-GANは,入力ペアの異なるスケールのセマンティック(パーシングマップ)とピクセル(LQ画像)空間情報をフル活用している。
さらに,各セマンティクス領域における特徴スタイルロスを個別に算出し,顔テクスチャの詳細を改善するセマンティクス認識スタイルロスについても紹介する。
最後に,実世界のlq顔画像から適切なパースマップを生成する顔解析ネットワークを事前学習する。
実験の結果, 合成データを用いたモデルでは, 合成lq入力に対してよりリアルな高分解能結果を生成するだけでなく, 最先端手法と比較して自然なlq顔画像への一般化が期待できることがわかった。
コードはhttps://github.com/chaofengc/psfrganで入手できる。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。
既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。
我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
論文 参考訳（メタデータ） (2024-04-05T14:00:07Z) - CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳（メタデータ） (2024-02-08T23:51:49Z) - SARGAN: Spatial Attention-based Residuals for Facial Expression
Manipulation [1.7056768055368383]
本稿では,3つの視点から制限に対処するSARGANという新しい手法を提案する。
我々は対称エンコーダ・デコーダネットワークを利用して顔の特徴に複数スケールで対応した。
提案手法は最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-03-30T08:15:18Z) - Multi-Prior Learning via Neural Architecture Search for Blind Face
Restoration [61.27907052910136]
Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。
1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。
特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
論文 参考訳（メタデータ） (2022-06-28T12:29:53Z) - Enhancing Quality of Pose-varied Face Restoration with Local Weak
Feature Sensing and GAN Prior [29.17397958948725]
本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。
我々のモデルは、顔の復元や顔の超解像処理において、従来の技術よりも優れている。
論文 参考訳（メタデータ） (2022-05-28T09:23:48Z) - FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer
Using Neural Generative Adversarial Networks [0.7043489166804575]
顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。
本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
論文 参考訳（メタデータ） (2021-12-01T14:42:03Z) - Subpixel Heatmap Regression for Facial Landmark Localization [65.41270740933656]
熱マップ回帰法は、熱マップ符号化と復号処理の両方に関連する離散化による誤差に悩まされる。
本稿では,熱マップの符号化と復号化に基礎となる連続分布を利用した新しい手法を提案する。
我々のアプローチは、顔のランドマークのローカライゼーションに新しい最先端の結果を設定する複数のデータセット間で顕著な利得を提供する。
論文 参考訳（メタデータ） (2021-11-03T17:21:28Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - High Resolution Face Editing with Masked GAN Latent Code Optimization [0.0]
顔の編集はコンピュータビジョンコミュニティで人気のある研究トピックである。
最近の提案手法は、条件付きエンコーダデコーダであるGAN(Generative Adversarial Network)をエンドツーエンドでトレーニングするか、事前に訓練されたバニラGANジェネレータモデルの潜時空間での動作を定義するかのいずれかである。
空間的および意味的制約を伴ったGAN組み込み最適化手順を提案する。
論文 参考訳（メタデータ） (2021-03-20T08:39:41Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳（メタデータ） (2020-03-30T17:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。