論文の概要: A Deep Learning Framework to Reconstruct Face under Mask
- arxiv url: http://arxiv.org/abs/2203.12482v1
- Date: Wed, 23 Mar 2022 15:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 13:42:52.052336
- Title: A Deep Learning Framework to Reconstruct Face under Mask
- Title（参考訳）: マスクによる顔再建のためのディープラーニングフレームワーク
- Authors: Gourango Modak, Shuvra Smaran Das, Md. Ajharul Islam Miraj, Md. Kishor
Morol
- Abstract要約: 本研究の目的は、マスク画像からマスク領域を抽出し、検出された領域を再構築することである。
この問題は、(i)マスクの裏側に隠された画像の性別を決定することが困難であるため、ネットワークが混乱し、女性として、あるいはその逆で男性の顔が復元されるため複雑である。
この複雑な課題を解決するために,課題をランドマーク検出,ターゲットマスク領域の物体検出,アドレスマスク領域の塗装の3段階に分けた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While deep learning-based image reconstruction methods have shown significant
success in removing objects from pictures, they have yet to achieve acceptable
results for attributing consistency to gender, ethnicity, expression, and other
characteristics like the topological structure of the face. The purpose of this
work is to extract the mask region from a masked image and rebuild the area
that has been detected. This problem is complex because (i) it is difficult to
determine the gender of an image hidden behind a mask, which causes the network
to become confused and reconstruct the male face as a female or vice versa;
(ii) we may receive images from multiple angles, making it extremely difficult
to maintain the actual shape, topological structure of the face and a natural
image; and (iii) there are problems with various mask forms because, in some
cases, the area of the mask cannot be anticipated precisely; certain parts of
the mask remain on the face after completion. To solve this complex task, we
split the problem into three phases: landmark detection, object detection for
the targeted mask area, and inpainting the addressed mask region. To begin, to
solve the first problem, we have used gender classification, which detects the
actual gender behind a mask, then we detect the landmark of the masked facial
image. Second, we identified the non-face item, i.e., the mask, and used the
Mask R-CNN network to create the binary mask of the observed mask area.
Thirdly, we developed an inpainting network that uses anticipated landmarks to
create realistic images. To segment the mask, this article uses a mask R-CNN
and offers a binary segmentation map for identifying the mask area.
Additionally, we generated the image utilizing landmarks as structural guidance
through a GAN-based network. The studies presented in this paper use the FFHQ
and CelebA datasets.
- Abstract（参考訳）: 深層学習に基づく画像再構成手法は, 画像からの物体除去において有意な成功を収めているが, 性別, 民族性, 表情など, 顔の位相構造などの特徴に一貫性をもたせる効果は得られていない。
本研究の目的は,マスク画像からマスク領域を抽出し,検出された領域を再構築することである。
この問題は複雑です なぜなら
一 仮面の裏に隠された画像の性別を判断することは困難で、これによりネットワークが混乱し、女性として、またはその逆で男性の顔を再構築する。
(二)複数の角度から画像を受け取ることができるため、顔の実際の形状、位相構造、自然像の維持が非常に困難である。
(iii)マスクの面積が正確に予測できない場合もあり、マスクの特定の部分が完成後も顔に残るため、様々なマスク形態に問題がある。
この複雑な課題を解決するために,ランドマーク検出,対象マスク領域の物体検出,対応マスク領域の塗り込みという3つのフェーズに分けた。
まず最初に,マスクの裏にある実際の性別を検出する性別分類を用いて,マスク付き顔画像のランドマークを検出する。
第2に,マスクの非面項目,すなわちマスクを識別し,マスク領域の2値マスクを作成するためにマスクR-CNNネットワークを用いた。
第3に,予想されるランドマークを用いてリアルな画像を生成する塗装ネットワークを開発した。
マスクのセグメンテーションにはマスクR-CNNを使用し、マスク領域を特定するためのバイナリセグメンテーションマップを提供する。
さらに,GANネットワークを通じてランドマークを構造ガイダンスとして利用した画像を生成する。
本稿では,FFHQとCelebAデータセットを用いた。
関連論文リスト
- Face Mask Removal with Region-attentive Face Inpainting [0.7433327915285965]
本研究では,顔のマスク部分の復元・再構成を行う生成顔インペイント法を提案する。
提案手法は,空間情報損失を軽減するため,M-CSAM (M-scale Channel-Spatial Attention Module) を含む。
我々は、CelebAデータセットから5種類のマスクを組み込むことで、独自のMasked-Facesデータセットを合成する。
論文 参考訳（メタデータ） (2024-09-10T20:10:11Z) - Seeing through the Mask: Multi-task Generative Mask Decoupling Face
Recognition [47.248075664420874]
現在の一般的な顔認識システムは、隠蔽シーンに遭遇する際の重大な性能劣化に悩まされている。
本稿では,これら2つのタスクを協調的に扱うために,マルチタスクのgEnerative mask dEcoupling Face Recognition (MEER) ネットワークを提案する。
まず,マスクと識別情報を分離する新しいマスクデカップリングモジュールを提案する。
論文 参考訳（メタデータ） (2023-11-20T03:23:03Z) - Shape-Aware Masking for Inpainting in Medical Imaging [49.61617087640379]
インペイントは、教師なしの医用画像モデル発見のためのディープラーニング技術として成功している。
本稿では, 先行する統計的形状の学習を目的とした, 塗装用形状認識マスクの生成手法を提案する。
市販の塗装モデルとスーパーピクセルオーバーセグメンテーションアルゴリズムに基づく教師なしマスキング手法を提案する。
論文 参考訳（メタデータ） (2022-07-12T18:35:17Z) - Layered Depth Refinement with Mask Guidance [61.10654666344419]
汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。
本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。
本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-06-07T06:42:44Z) - A Unified Framework for Masked and Mask-Free Face Recognition via
Feature Rectification [19.417191498842044]
マスク付き顔とマスクなし顔の両方を識別するための統合フレームワークである顔特徴整形ネットワーク(FFR-Net)を提案する。
本研究では,最先端認識モデルにより抽出された特徴を,空間次元とチャネル次元の両方で整列するための整列ブロックを導入する。
実験により,我々のフレームワークは,マスク付き顔とマスクなし顔の両方を効果的に認識するための修正された特徴空間を学習できることが示されている。
論文 参考訳（メタデータ） (2022-02-15T12:37:59Z) - MLFW: A Database for Face Recognition on Masked Faces [56.441078419992046]
Masked LFW (MLFW) は、マスクのない顔からマスクされた顔を自動的に生成するツールである。
SOTAモデルの認識精度は、元の画像の精度と比較して、MLFWデータベース上で5%-16%低下する。
論文 参考訳（メタデータ） (2021-09-13T09:30:10Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳（メタデータ） (2021-04-28T13:17:47Z) - Towards NIR-VIS Masked Face Recognition [47.00916333095693]
近赤外可視(NIR-VIS)顔認識は異種顔認識において最も一般的な症例である。
2つのドメインの顔表現で共有される相互情報を最大化するための新しいトレーニング手法を提案する。
さらに、既存のNIR画像からマスク面を合成するために、3次元顔再構成に基づくアプローチを用いる。
論文 参考訳（メタデータ） (2021-04-14T10:40:09Z) - Deep Learning Framework to Detect Face Masks from Video Footage [0.0]
深層学習を用いて映像中の顔のマスクを検出する手法を提案する。
提案フレームワークは,MTCNN顔検出モデルを利用して,映像フレームに存在する顔とそれに対応する顔のランドマークを識別する。
提案手法は,高い精度,リコール,精度を達成し,顔のマスク検出に有効であることを示した。
論文 参考訳（メタデータ） (2020-11-04T16:02:03Z) - MaskedFace-Net -- A Dataset of Correctly/Incorrectly Masked Face Images
in the Context of COVID-19 [2.7528170226206443]
マスクの着用は、新型コロナウイルスの感染拡大を制限する解決策として現れる。
このタスクを行うためには,マスクを着用している人やマスクを着用していない人を検出するために,深層学習モデルの訓練にマスク付き顔の大規模なデータセットが必要である。
マスクされた顔の大規模なデータセットが文献で公開されているが、現在、検出されたマスクされた顔が正しく着用されているかどうかを確認できるマスクされた顔画像の大規模なデータセットは存在しない。
論文 参考訳（メタデータ） (2020-08-18T16:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。