論文の概要: Towards Real-world Video Face Restoration: A New Benchmark

• arxiv url: http://arxiv.org/abs/2404.19500v1
• Date: Tue, 30 Apr 2024 12:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:15:27.647952
• Title: Towards Real-world Video Face Restoration: A New Benchmark
• Title（参考訳）: 現実世界の顔の復元に向けて:新しいベンチマーク
• Authors: Ziyan Chen, Jingwen He, Xinqi Lin, Yu Qiao, Chao Dong,
• Abstract要約: 我々は,「フル,オクルード,サイド」の顔を持つFOSという新しい実世界のデータセットを紹介した。 FOSデータセットは、より多様な劣化をカバーし、より複雑なシナリオからの顔サンプルを含む。 我々は、最先端のBFR法とビデオスーパー解像度(VSR)法の両方をベンチマークして、現在のアプローチを網羅的に研究した。
• 参考スコア（独自算出の注目度）: 33.01372704755186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration (BFR) on images has significantly progressed over the last several years, while real-world video face restoration (VFR), which is more challenging for more complex face motions such as moving gaze directions and facial orientations involved, remains unsolved. Typical BFR methods are evaluated on privately synthesized datasets or self-collected real-world low-quality face images, which are limited in their coverage of real-world video frames. In this work, we introduced new real-world datasets named FOS with a taxonomy of "Full, Occluded, and Side" faces from mainly video frames to study the applicability of current methods on videos. Compared with existing test datasets, FOS datasets cover more diverse degradations and involve face samples from more complex scenarios, which helps to revisit current face restoration approaches more comprehensively. Given the established datasets, we benchmarked both the state-of-the-art BFR methods and the video super resolution (VSR) methods to comprehensively study current approaches, identifying their potential and limitations in VFR tasks. In addition, we studied the effectiveness of the commonly used image quality assessment (IQA) metrics and face IQA (FIQA) metrics by leveraging a subjective user study. With extensive experimental results and detailed analysis provided, we gained insights from the successes and failures of both current BFR and VSR methods. These results also pose challenges to current face restoration approaches, which we hope stimulate future advances in VFR research.
• Abstract（参考訳）: 画像上のブラインド顔復元(BFR)はここ数年で大きく進歩しているが、視線方向や顔の向きなどのより複雑な顔の動きに対してより難しい実世界のビデオ顔復元(VFR)は未解決のままである。 典型的なBFR法は、プライベートに合成されたデータセットや、実際のビデオフレームのカバレッジに制限がある自己コンパイルされた現実世界の低品質の顔画像で評価される。 本研究では、主にビデオフレームから"Full, Occluded, and Side"の分類を用いたFOSと呼ばれる新しい実世界のデータセットを導入し、ビデオ上の現在の手法の適用性について検討した。 既存のテストデータセットと比較して、FOSデータセットはより多様な劣化をカバーし、より複雑なシナリオからの顔サンプルを含む。 確立されたデータセットから,最新のBFR手法とビデオスーパーレゾリューション(VSR)手法の両方をベンチマークし,VFRタスクにおけるその可能性と限界を特定した。 また,画像品質評価(IQA)指標と顔IQA(FIQA)指標の有効性を主観的ユーザスタディを用いて検討した。 実験結果と詳細な分析結果により,現在のBFR法とVSR法の両方の成功と失敗から知見を得た。 これらの結果は、現在の顔修復アプローチにも課題をもたらし、VFR研究の今後の進歩を期待する。

関連論文リスト

• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• Survey on Deep Face Restoration: From Non-blind to Blind and Beyond [79.1398990834247]
  顔復元(FR)は、低品質 (LQ) の顔画像を高品質 (HQ) の顔画像に復元することを目的とした、画像復元の専門分野である。 近年のディープラーニング技術の進歩はFR法に大きな進歩をもたらした。
  論文  参考訳（メタデータ） (2023-09-27T08:39:03Z)
• Enhancing Face Recognition with Latent Space Data Augmentation and Facial Posture Reconstruction [8.493314424950599]
  顔データセットを拡張するためのFRA(Face Representation Augmentation)というアプローチを提案する。 FRAは、顔表現学習アルゴリズムによって生成された顔埋め込みの操作に焦点を移す最初の方法である。 提案手法は,MagFace,ArcFace,CosFaceの基本モデルと比較して,識別精度を9.52 %,10.04 %,16.60 %改善する。
  論文  参考訳（メタデータ） (2023-01-27T20:54:58Z)
• A Survey of Deep Face Restoration: Denoise, Super-Resolution, Deblur, Artifact Removal [177.21001709272144]
  顔復元(FR)は、低品質(LQ)入力画像から高品質(HQ)顔を復元することを目的としている。 本稿では,顔修復のための深層学習技術の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2022-11-05T07:08:15Z)
• Multi-Prior Learning via Neural Architecture Search for Blind Face Restoration [61.27907052910136]
  Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。 1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。 特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
  論文  参考訳（メタデータ） (2022-06-28T12:29:53Z)
• Blind Face Restoration: Benchmark Datasets and a Baseline Model [63.053331687284064]
  Blind Face Restoration (BFR) は、対応する低品質 (LQ) 入力から高品質 (HQ) の顔画像を構築することを目的としている。 EDFace-Celeb-1M (BFR128) と EDFace-Celeb-150K (BFR512) と呼ばれる2つのブラインドフェイス復元ベンチマークデータセットを最初に合成する。 最先端の手法は、ブラー、ノイズ、低解像度、JPEG圧縮アーティファクト、それらの組み合わせ(完全な劣化)の5つの設定でベンチマークされる。
  論文  参考訳（メタデータ） (2022-06-08T06:34:24Z)
• Joint Face Image Restoration and Frontalization for Recognition [79.78729632975744]
  現実世界のシナリオでは、大きなポーズ、悪い照明、低解像度、ぼやけ、ノイズなど、多くの要因が顔認識性能を損なう可能性がある。 それまでの努力は通常、まず品質の低い顔から高品質な顔に復元し、次に顔認識を行う。 与えられた低品質の顔からフロンダル化された高品質の顔を復元する多段階顔復元モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-12T03:52:41Z)
• HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment [63.333407973913374]
  フェース・リノベーション(FR)は意味誘導型生成問題である。 HiFaceGANは、複数のネストされたCSRユニットを含む多段階フレームワークである。 合成画像と実顔画像の両方の実験により,HiFaceGANの優れた性能が確認された。
  論文  参考訳（メタデータ） (2020-05-11T11:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。