論文の概要: Learning Spatial Attention for Face Super-Resolution
- arxiv url: http://arxiv.org/abs/2012.01211v2
- Date: Fri, 4 Dec 2020 12:33:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:57:35.632554
- Title: Learning Spatial Attention for Face Super-Resolution
- Title（参考訳）: 顔の超解像に対する空間的注意の学習
- Authors: Chaofeng Chen, Dihong Gong, Hao Wang, Zhifeng Li, Kwan-Yee K. Wong
- Abstract要約: 一般画像超解像技術は、低解像度の顔画像に適用する場合、詳細な顔構造を復元することが困難である。
近年,顔画像に適した深層学習手法は,顔解析やランドマーク予測などのタスクを共同で訓練することで,性能の向上を実現している。
顔超解像のための新たに提案した顔注意ユニット(FAUs)上に構築したSPatial Attention Residual Network(SPARNet)を紹介する。
- 参考スコア（独自算出の注目度）: 28.60619685892613
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: General image super-resolution techniques have difficulties in recovering
detailed face structures when applying to low resolution face images. Recent
deep learning based methods tailored for face images have achieved improved
performance by jointly trained with additional task such as face parsing and
landmark prediction. However, multi-task learning requires extra manually
labeled data. Besides, most of the existing works can only generate relatively
low resolution face images (e.g., $128\times128$), and their applications are
therefore limited. In this paper, we introduce a novel SPatial Attention
Residual Network (SPARNet) built on our newly proposed Face Attention Units
(FAUs) for face super-resolution. Specifically, we introduce a spatial
attention mechanism to the vanilla residual blocks. This enables the
convolutional layers to adaptively bootstrap features related to the key face
structures and pay less attention to those less feature-rich regions. This
makes the training more effective and efficient as the key face structures only
account for a very small portion of the face image. Visualization of the
attention maps shows that our spatial attention network can capture the key
face structures well even for very low resolution faces (e.g., $16\times16$).
Quantitative comparisons on various kinds of metrics (including PSNR, SSIM,
identity similarity, and landmark detection) demonstrate the superiority of our
method over current state-of-the-arts. We further extend SPARNet with
multi-scale discriminators, named as SPARNetHD, to produce high resolution
results (i.e., $512\times512$). We show that SPARNetHD trained with synthetic
data cannot only produce high quality and high resolution outputs for
synthetically degraded face images, but also show good generalization ability
to real world low quality face images.
- Abstract（参考訳）: 一般画像超解像技術は、低解像度の顔画像に適用する場合、詳細な顔構造を復元することが困難である。
近年,顔画像に適した深層学習手法は,顔解析やランドマーク予測などのタスクを共同で訓練することで,性能の向上を実現している。
しかし、マルチタスク学習には追加のラベル付きデータが必要である。
さらに、既存の作品の多くは比較的低解像度の顔画像しか生成できない(例えば、128\times128$)ため、その用途は限られている。
本稿では,顔超解像のための新しい顔注意ユニット (FAU) 上に構築したSPatial Attention Residual Network (SPARNet) を紹介する。
具体的には,バニラ残留ブロックに空間的注意機構を導入する。
これにより、畳み込み層は、キーとなる顔構造に関連する機能を適応的にブートストラップし、より機能豊富な領域に注意を払わないことができる。
これにより、キーとなる顔構造が顔画像のごく一部を占めるだけで、トレーニングはより効果的で効率的なものになる。
注意マップの可視化は、非常に低解像度の顔であっても、我々の空間的注意ネットワークがキーフェイス構造をうまく捉えることができることを示している。
各種指標(psnr, ssim, アイデンティティ類似性, ランドマーク検出など)の定量的比較により, 現状よりも優れた手法が得られた。
さらにSPARNetをSPARNetHDと呼ばれるマルチスケールの識別器で拡張し、高解像度な結果(512\times512$)を生成する。
合成データを用いて訓練したSPARNetHDは、合成劣化顔画像に対して高品質で高解像度な出力を生成するだけでなく、現実の低画質顔画像に対して優れた一般化能力を示すことを示す。
関連論文リスト
- W-Net: A Facial Feature-Guided Face Super-Resolution Network [8.037821981254389]
Face Super-Resolutionは、高解像度 (HR) の顔画像を低解像度 (LR) の顔画像から復元することを目的としている。
既存手法は, 再建効率が低く, 事前情報の利用が不十分であるため, 理想的ではない。
本稿では,この課題に対処するため,W-Netと呼ばれる新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-06-02T09:05:40Z) - EfficientSRFace: An Efficient Network with Super-Resolution Enhancement
for Accurate Face Detection [18.977044046941813]
顔検出では、密集した顔予測タスクにおいて、人間の集団の多数の小さな顔のような低解像度の顔が一般的である。
我々は,特徴レベルの超解像再構成ネットワークを導入し,効率的なSRFaceと呼ばれる検出器を開発した。
このモジュールはトレーニングプロセスにおいて補助的な役割を担い、推論時間を増やすことなく推論中に取り除くことができる。
論文 参考訳（メタデータ） (2023-06-04T06:49:44Z) - Super-Resolving Face Image by Facial Parsing Information [52.1267613768555]
顔超解像は、低解像度の顔画像を対応する高解像度の画像に変換する技術である。
我々は,低解像度の顔画像から先行する顔を抽出する,新しい解析マップ付き顔超解像ネットワークを構築した。
高解像度特徴はより正確な空間情報を含み、低解像度特徴は強い文脈情報を提供する。
論文 参考訳（メタデータ） (2023-04-06T08:19:03Z) - Face Super-Resolution with Progressive Embedding of Multi-scale Face
Priors [4.649637261351803]
フェース超解像のための新しい再帰畳み込みネットワークベースのフレームワークを提案する。
我々は、繰り返しネットワークの中間出力をフル活用し、ランドマーク情報と顔行動単位(AU)情報を抽出する。
提案手法は,画像の画質と顔の細部復元において,最先端のFSR法よりも優れていた。
論文 参考訳（メタデータ） (2022-10-12T08:16:52Z) - LR-to-HR Face Hallucination with an Adversarial Progressive
Attribute-Induced Network [67.64536397027229]
顔の超解像は難しい問題であり、非常に不適切な問題である。
顔の特徴を取り入れたエンドツーエンドのプログレッシブ・ラーニング・フレームワークを提案する。
提案手法は,他の最先端アプローチよりも良好な顔幻覚像が得られることを示す。
論文 参考訳（メタデータ） (2021-09-29T19:50:45Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-08-02T02:29:24Z) - Network Architecture Search for Face Enhancement [82.25775020564654]
我々は、NASFE(Network Architecture Search for Face Enhancement)と呼ばれるマルチタスクの顔復元ネットワークを提案する。
NASFEは、単一の劣化(すなわち)を含む低品質の顔画像を高めることができる。
ノイズまたはぼやけ)または複数の劣化(ノイズ+ブラル+ローライト)
論文 参考訳（メタデータ） (2021-05-13T19:46:05Z) - JDSR-GAN: Constructing A Joint and Collaborative Learning Network for
Masked Face Super-Resolution [28.022800882214803]
ほとんどのビデオ監視シナリオで得られた顔画像は、マスクと同時に低解像度です。
これまでのスーパーレゾリューションソリューションのほとんどは、1つのモデルで両方のタスクを処理できない。
我々は,マスク付き顔超解像課題のための共同学習ネットワークJDSR-GANを構築した。
論文 参考訳（メタデータ） (2021-03-25T08:50:40Z) - Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。
我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。
提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
論文 参考訳（メタデータ） (2020-07-18T15:26:07Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳（メタデータ） (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。