論文の概要: Blind Face Restoration: Benchmark Datasets and a Baseline Model
- arxiv url: http://arxiv.org/abs/2206.03697v1
- Date: Wed, 8 Jun 2022 06:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:55:12.090524
- Title: Blind Face Restoration: Benchmark Datasets and a Baseline Model
- Title(参考訳): blind face restoration:ベンチマークデータセットとベースラインモデル
- Authors: Puyang Zhang, Kaihao Zhang, Wenhan Luo, Changsheng Li, Guoren Wang
- Abstract要約: Blind Face Restoration (BFR) は、対応する低品質 (LQ) 入力から高品質 (HQ) の顔画像を構築することを目的としている。
EDFace-Celeb-1M (BFR128) と EDFace-Celeb-150K (BFR512) と呼ばれる2つのブラインドフェイス復元ベンチマークデータセットを最初に合成する。
最先端の手法は、ブラー、ノイズ、低解像度、JPEG圧縮アーティファクト、それらの組み合わせ(完全な劣化)の5つの設定でベンチマークされる。
- 参考スコア(独自算出の注目度): 63.053331687284064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Blind Face Restoration (BFR) aims to construct a high-quality (HQ) face image
from its corresponding low-quality (LQ) input. Recently, many BFR methods have
been proposed and they have achieved remarkable success. However, these methods
are trained or evaluated on privately synthesized datasets, which makes it
infeasible for the subsequent approaches to fairly compare with them. To
address this problem, we first synthesize two blind face restoration benchmark
datasets called EDFace-Celeb-1M (BFR128) and EDFace-Celeb-150K (BFR512).
State-of-the-art methods are benchmarked on them under five settings including
blur, noise, low resolution, JPEG compression artifacts, and the combination of
them (full degradation). To make the comparison more comprehensive, five
widely-used quantitative metrics and two task-driven metrics including Average
Face Landmark Distance (AFLD) and Average Face ID Cosine Similarity (AFICS) are
applied. Furthermore, we develop an effective baseline model called Swin
Transformer U-Net (STUNet). The STUNet with U-net architecture applies an
attention mechanism and a shifted windowing scheme to capture long-range pixel
interactions and focus more on significant features while still being trained
efficiently. Experimental results show that the proposed baseline method
performs favourably against the SOTA methods on various BFR tasks.
- Abstract(参考訳): Blind Face Restoration (BFR)は、対応する低品質(LQ)入力から高品質(HQ)フェイスイメージを構築することを目的としている。
近年,多くのBFR法が提案され,大きな成功を収めている。
しかし、これらの手法はプライベートに合成されたデータセット上で訓練または評価されるため、その後のアプローチでそれと比較的比較することは不可能である。
この問題を解決するために、まず、EDFace-Celeb-1M (BFR128) とEDFace-Celeb-150K (BFR512) と呼ばれる2つのブラインドフェイス復元ベンチマークデータセットを合成する。
最先端の手法は、ブラー、ノイズ、低解像度、JPEG圧縮アーティファクト、それらの組み合わせ(完全な劣化)の5つの設定でベンチマークされる。
比較をより包括的にするために、広く使われている5つのメトリクスと、平均顔ランドマーク距離(AFLD)と平均顔IDコサイン類似度(AFICS)を含む2つのタスク駆動メトリクスを適用した。
さらに,Swin Transformer U-Net (STUNet) と呼ばれる効率的なベースラインモデルを開発した。
U-netアーキテクチャを備えたSTUNetは、注目機構とシフトウインドウ方式を適用して、長距離ピクセル間相互作用をキャプチャし、効率よくトレーニングしながら重要な特徴に集中する。
実験の結果,提案手法は様々なBFRタスクにおいてSOTA法に対して好適に動作することがわかった。
関連論文リスト
- BFRFormer: Transformer-based generator for Real-World Blind Face
Restoration [37.77996097891398]
本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。
提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-02-29T02:31:54Z) - UniTSFace: Unified Threshold Integrated Sample-to-Sample Loss for Face
Recognition [35.66000285310775]
サンプル・サンプル・サンプル・ベース・ロス(USS損失)の統合しきい値を提案する。
USS損失は、正の対と負の対を区別するための明確な統一されたしきい値である。
また,サンプル対サンプルベースのソフトマックスとBCE損失を導出し,それらの関係について考察した。
論文 参考訳(メタデータ) (2023-11-04T23:00:40Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳(メタデータ) (2023-08-01T03:44:56Z) - Sample Less, Learn More: Efficient Action Recognition via Frame Feature
Restoration [59.6021678234829]
本稿では,2つのスパースサンプリングおよび隣接するビデオフレームの中間特徴を復元する新しい手法を提案する。
提案手法の統合により, 一般的な3つのベースラインの効率は50%以上向上し, 認識精度は0.5%低下した。
論文 参考訳(メタデータ) (2023-07-27T13:52:42Z) - Multi-Prior Learning via Neural Architecture Search for Blind Face
Restoration [61.27907052910136]
Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。
1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。
特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
論文 参考訳(メタデータ) (2022-06-28T12:29:53Z) - Hierarchical Convolutional Neural Network with Feature Preservation and
Autotuned Thresholding for Crack Detection [5.735035463793008]
ドローンの画像はインフラ表面の欠陥の自動検査にますます使われている。
本稿では,階層型畳み込みニューラルネットワークを用いた深層学習手法を提案する。
提案手法は, 道路, 橋, 舗装の表面ひび割れの同定に応用されている。
論文 参考訳(メタデータ) (2021-04-21T13:07:58Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳(メタデータ) (2020-08-20T09:49:13Z) - GroupFace: Learning Latent Groups and Constructing Group-based
Representations for Face Recognition [20.407167858663453]
組込み機能の品質を向上させるために,グループフェイスと呼ばれる新しい顔認識特化アーキテクチャを提案する。
提案手法は,人間のアノテーションを付加せずに各グループに属するサンプル数のバランスをとる自己分散ラベルを提供する。
提案手法のすべてのコンポーネントは、計算複雑性を極端に増加させることなく、エンドツーエンドで訓練することができる。
論文 参考訳(メタデータ) (2020-05-21T07:30:34Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳(メタデータ) (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。