論文の概要: Face Mask Removal with Region-attentive Face Inpainting

• arxiv url: http://arxiv.org/abs/2409.06845v1
• Date: Tue, 10 Sep 2024 20:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 16:29:39.494581
• Title: Face Mask Removal with Region-attentive Face Inpainting
• Title（参考訳）: 領域刺激型顔インペインティングによるマスク除去
• Authors: Minmin Yang,
• Abstract要約: 本研究では,顔のマスク部分の復元・再構成を行う生成顔インペイント法を提案する。 提案手法は,空間情報損失を軽減するため,M-CSAM (M-scale Channel-Spatial Attention Module) を含む。 我々は、CelebAデータセットから5種類のマスクを組み込むことで、独自のMasked-Facesデータセットを合成する。
• 参考スコア（独自算出の注目度）: 0.7433327915285965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During the COVID-19 pandemic, face masks have become ubiquitous in our lives. Face masks can cause some face recognition models to fail since they cover significant portion of a face. In addition, removing face masks from captured images or videos can be desirable, e.g., for better social interaction and for image/video editing and enhancement purposes. Hence, we propose a generative face inpainting method to effectively recover/reconstruct the masked part of a face. Face inpainting is more challenging compared to traditional inpainting, since it requires high fidelity while maintaining the identity at the same time. Our proposed method includes a Multi-scale Channel-Spatial Attention Module (M-CSAM) to mitigate the spatial information loss and learn the inter- and intra-channel correlation. In addition, we introduce an approach enforcing the supervised signal to focus on masked regions instead of the whole image. We also synthesize our own Masked-Faces dataset from the CelebA dataset by incorporating five different types of face masks, including surgical mask, regular mask and scarves, which also cover the neck area. The experimental results show that our proposed method outperforms different baselines in terms of structural similarity index measure, peak signal-to-noise ratio and l1 loss, while also providing better outputs qualitatively. The code will be made publicly available. Code is available at GitHub.
• Abstract（参考訳）: 新型コロナウイルス(COVID-19)のパンデミックの間、顔マスクは私たちの生活の中でどこにでもあるようになった。 フェイスマスクは、顔のかなりの部分をカバーしているため、一部の顔認識モデルが失敗する可能性がある。 さらに、キャプチャされた画像やビデオからフェイスマスクを取り除くことは、例えば、より優れたソーシャルインタラクションや、画像やビデオの編集やエンハンスメントの目的のために望ましい。 そこで本稿では,顔のマスク部を効果的に復元・再構成する生成顔インペイント法を提案する。 顔の塗り絵は、アイデンティティを同時に維持しながら高い忠実性を必要とするため、従来の塗り絵に比べて困難である。 提案手法は,M-CSAM (M-scale Channel-Spatial Attention Module) を用いて空間情報損失を軽減し,チャネル間およびチャネル内相関を学習する。 さらに,画像全体ではなくマスキング領域に注目するように教師付き信号を強制する手法を提案する。 CelebAデータセットから独自のMasked-Facesデータセットを合成し、手術用マスク、通常のマスク、スカーフを含む5種類のフェイスマスクを組み込んだ。 実験の結果,提案手法は構造的類似度指数,ピーク信号-雑音比,l1損失の点で異なるベースラインよりも優れており,質的にも優れた出力が得られることがわかった。 コードは公開されます。 コードはGitHubで入手できる。

関連論文リスト

• Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition [47.248075664420874]
  現在の一般的な顔認識システムは、隠蔽シーンに遭遇する際の重大な性能劣化に悩まされている。 本稿では,これら2つのタスクを協調的に扱うために,マルチタスクのgEnerative mask dEcoupling Face Recognition (MEER) ネットワークを提案する。 まず,マスクと識別情報を分離する新しいマスクデカップリングモジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:23:03Z)
• Learning Representations for Masked Facial Recovery [8.124282476398843]
  近年のパンデミックは 公共の場で 防護マスクを着用している人が 劇的に増えています この問題に対処する1つの方法は、前処理のステップとして、フェイスリカバリメソッドに戻ることです。 マスクを被った同一人物の画像から顔画像の復元に特有な方法を提案する。
  論文  参考訳（メタデータ） (2022-12-28T22:22:15Z)
• Shape-Aware Masking for Inpainting in Medical Imaging [49.61617087640379]
  インペイントは、教師なしの医用画像モデル発見のためのディープラーニング技術として成功している。 本稿では, 先行する統計的形状の学習を目的とした, 塗装用形状認識マスクの生成手法を提案する。 市販の塗装モデルとスーパーピクセルオーバーセグメンテーションアルゴリズムに基づく教師なしマスキング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-12T18:35:17Z)
• FaceMAE: Privacy-Preserving Face Recognition via Masked Autoencoders [81.21440457805932]
  顔のプライバシと認識性能を同時に考慮する新しいフレームワークFaceMAEを提案する。 ランダムにマスクされた顔画像は、FaceMAEの再構築モジュールのトレーニングに使用される。 また、いくつかの公開顔データセット上で十分なプライバシー保護顔認証を行う。
  論文  参考訳（メタデータ） (2022-05-23T07:19:42Z)
• A Unified Framework for Masked and Mask-Free Face Recognition via Feature Rectification [19.417191498842044]
  マスク付き顔とマスクなし顔の両方を識別するための統合フレームワークである顔特徴整形ネットワーク(FFR-Net)を提案する。 本研究では,最先端認識モデルにより抽出された特徴を,空間次元とチャネル次元の両方で整列するための整列ブロックを導入する。 実験により,我々のフレームワークは,マスク付き顔とマスクなし顔の両方を効果的に認識するための修正された特徴空間を学習できることが示されている。
  論文  参考訳（メタデータ） (2022-02-15T12:37:59Z)
• Mask-invariant Face Recognition through Template-level Knowledge Distillation [3.727773051465455]
  マスクは従来の顔認識システムの性能に影響を与える。 マスク不変顔認識ソリューション(MaskInv)を提案する。 蒸留された知識に加えて、学生ネットワークは、マージンベースのアイデンティティ分類損失による追加ガイダンスの恩恵を受ける。
  論文  参考訳（メタデータ） (2021-12-10T16:19:28Z)
• MLFW: A Database for Face Recognition on Masked Faces [56.441078419992046]
  Masked LFW (MLFW) は、マスクのない顔からマスクされた顔を自動的に生成するツールである。 SOTAモデルの認識精度は、元の画像の精度と比較して、MLFWデータベース上で5%-16%低下する。
  論文  参考訳（メタデータ） (2021-09-13T09:30:10Z)
• A realistic approach to generate masked faces applied on two novel masked face recognition data sets [14.130698536174767]
  本稿では,マスクのない顔を含むデータセットを合成マスクを作成し,元の画像の顔に重ね合わせることによって拡張する手法を提案する。 CASIA-WebFaceデータセットの445,446 (90%) のマスクと,CelebAデータセットの196,254 (96.8%) のマスクを生成した。 本手法は, 被験者に対して, 他の方法やデータセットと定性的に比較するように依頼することで, 顔にオーバーレイしたマスクのより現実的なトレーニング例を生成する。
  論文  参考訳（メタデータ） (2021-09-03T22:33:55Z)
• Indian Masked Faces in the Wild Dataset [86.79402670904338]
  本研究では,ポーズ,照明,解像度,被検者の着用するマスクの多様さを特徴とする,IMFWデータセットを新たに提案する。 また,提案したIMFWデータセットにおいて,既存の顔認識モデルの性能をベンチマークした。
  論文  参考訳（メタデータ） (2021-06-17T17:23:54Z)
• Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face Presentation Attack Detection [103.7264459186552]
  顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。 ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。 現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
  論文  参考訳（メタデータ） (2021-04-13T12:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。