論文の概要: Masked Student Dataset of Expressions
- arxiv url: http://arxiv.org/abs/2304.03867v1
- Date: Fri, 7 Apr 2023 23:43:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 19:21:24.481346
- Title: Masked Student Dataset of Expressions
- Title(参考訳): 表情のマスキング学生データセット
- Authors: Sridhar Sola and Darshan Gera
- Abstract要約: 本研究では,1,960個の実世界の非マスク顔画像と1,142個の顔画像からなる新しいデータセットを提案する。
難解な顔の特徴に加えて、マスクされたFERの他の微妙な問題がデータセットにどのように表現されているかを説明します。
この課題に対処するために、コントラスト学習と知識蒸留という2つの訓練パラダイムを検証し、マスクシナリオにおけるモデルの性能向上と、非マスク性能の維持を両立させる。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Facial expression recognition (FER) algorithms work well in constrained
environments with little or no occlusion of the face. However, real-world face
occlusion is prevalent, most notably with the need to use a face mask in the
current Covid-19 scenario. While there are works on the problem of occlusion in
FER, little has been done before on the particular face mask scenario.
Moreover, the few works in this area largely use synthetically created masked
FER datasets. Motivated by these challenges posed by the pandemic to FER, we
present a novel dataset, the Masked Student Dataset of Expressions or MSD-E,
consisting of 1,960 real-world non-masked and masked facial expression images
collected from 142 individuals. Along with the issue of obfuscated facial
features, we illustrate how other subtler issues in masked FER are represented
in our dataset. We then provide baseline results using ResNet-18, finding that
its performance dips in the non-masked case when trained for FER in the
presence of masks. To tackle this, we test two training paradigms: contrastive
learning and knowledge distillation, and find that they increase the model's
performance in the masked scenario while maintaining its non-masked
performance. We further visualise our results using t-SNE plots and Grad-CAM,
demonstrating that these paradigms capitalise on the limited features available
in the masked scenario. Finally, we benchmark SOTA methods on MSD-E.
- Abstract(参考訳): 表情認識(FER)アルゴリズムは、顔の隠蔽がほとんど、あるいは全くない制約のある環境でうまく機能する。
しかしながら、現実世界の顔隠蔽は一般的であり、特に現在のCovid-19シナリオでフェイスマスクを使用する必要がある。
FERの隠蔽問題に関する研究は存在するが、特定のマスクのシナリオについてはこれまでほとんど行われていない。
さらに、この領域ではほとんどが合成されたマスクferデータセットを使用している。
そこで,これらの課題に動機づけられ,142人から収集された実世界の非マスク・マスク表情画像1,960点からなる,新しいデータセットであるmasted student dataset of expression(msd-e)を提案する。
難解な顔特徴の問題とともに、マスクferのその他の微妙な問題がデータセットでどのように表現されているかを説明します。
そして,resnet-18を用いてベースライン結果を提供し,マスクの有無でferを訓練すると,非マスクケースで性能が低下することを確認した。
この課題に対処するために、コントラスト学習と知識蒸留という2つの訓練パラダイムを検証し、マスクシナリオにおけるモデルの性能を高めながら、非マスク性能を維持した。
さらに,t-sneプロットとgrad-camを用いて結果の可視化を行い,これらのパラダイムがマスクシナリオで利用可能な限定機能を活用することを示した。
最後に、MSD-E上でSOTA法をベンチマークする。
関連論文リスト
- ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。
データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。
ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
論文 参考訳(メタデータ) (2024-07-17T22:04:00Z) - Seeing through the Mask: Multi-task Generative Mask Decoupling Face
Recognition [47.248075664420874]
現在の一般的な顔認識システムは、隠蔽シーンに遭遇する際の重大な性能劣化に悩まされている。
本稿では,これら2つのタスクを協調的に扱うために,マルチタスクのgEnerative mask dEcoupling Face Recognition (MEER) ネットワークを提案する。
まず,マスクと識別情報を分離する新しいマスクデカップリングモジュールを提案する。
論文 参考訳(メタデータ) (2023-11-20T03:23:03Z) - MaskMTL: Attribute prediction in masked facial images with deep
multitask learning [9.91045425400833]
本稿では,マスク付き顔画像から多種多様な特徴を共同で推定する深層マルチタスク学習(MTL)手法を提案する。
提案手法は、他の競合技術よりも性能が優れている。
論文 参考訳(メタデータ) (2022-01-09T13:03:29Z) - Mask-invariant Face Recognition through Template-level Knowledge
Distillation [3.727773051465455]
マスクは従来の顔認識システムの性能に影響を与える。
マスク不変顔認識ソリューション(MaskInv)を提案する。
蒸留された知識に加えて、学生ネットワークは、マージンベースのアイデンティティ分類損失による追加ガイダンスの恩恵を受ける。
論文 参考訳(メタデータ) (2021-12-10T16:19:28Z) - Adversarial Mask: Real-World Adversarial Attack Against Face Recognition
Models [66.07662074148142]
本稿では,最先端の深層学習に基づく顔認識モデルに対する物理対角的普遍摂動(UAP)を提案する。
実験では,幅広い深層学習モデルとデータセットへの対向マスクの転送可能性について検討した。
ファブリック・メディカル・フェイスマスクに対向パターンを印刷することにより,実世界の実験において,我々の対向マスクの有効性を検証した。
論文 参考訳(メタデータ) (2021-11-21T08:13:21Z) - MLFW: A Database for Face Recognition on Masked Faces [56.441078419992046]
Masked LFW (MLFW) は、マスクのない顔からマスクされた顔を自動的に生成するツールである。
SOTAモデルの認識精度は、元の画像の精度と比較して、MLFWデータベース上で5%-16%低下する。
論文 参考訳(メタデータ) (2021-09-13T09:30:10Z) - Boosting Masked Face Recognition with Multi-Task ArcFace [0.973681576519524]
新型コロナウイルス(COVID-19)による世界的な健康危機を考えると、口と鼻を覆うマスクは日常の衣服に欠かせないものになっています。
この尺度は、マスクされた顔で機能するよう設計されていないため、最先端の顔認識モデルをロープに乗せている。
完全なトレーニングパイプラインがArcFace作業に基づいて提示され、バックボーンとロス関数のいくつかの修正が行われている。
論文 参考訳(メタデータ) (2021-04-20T10:12:04Z) - Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face
Presentation Attack Detection [103.7264459186552]
顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。
ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。
現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
論文 参考訳(メタデータ) (2021-04-13T12:48:38Z) - A Computer Vision System to Help Prevent the Transmission of COVID-19 [79.62140902232628]
新型コロナウイルスのパンデミックは世界中の日常生活のあらゆる領域に影響を与える。
保健機関は、ソーシャルディスタンス、フェイスマスクを着用し、触れる顔を避けることをアドバイスします。
我々は、新型コロナウイルスの感染を防ぐためのディープラーニングベースのコンピュータビジョンシステムを開発した。
論文 参考訳(メタデータ) (2021-03-16T00:00:04Z) - Unmasking Face Embeddings by Self-restrained Triplet Loss for Accurate
Masked Face Recognition [6.865656740940772]
マスク付き顔認識性能を改善するためのソリューションを提案する。
具体的には,既存の顔認識モデル上で動作させるEmbedding Unmasking Model (EUM)を提案する。
また、EUMが同一アイデンティティのマスクされていない顔のこれらに類似した埋め込みを作成することを可能にする新しい損失関数、自己拘束トリプルト(SRT)を提案します。
論文 参考訳(メタデータ) (2021-03-02T13:43:11Z) - Deep Learning Framework to Detect Face Masks from Video Footage [0.0]
深層学習を用いて映像中の顔のマスクを検出する手法を提案する。
提案フレームワークは,MTCNN顔検出モデルを利用して,映像フレームに存在する顔とそれに対応する顔のランドマークを識別する。
提案手法は,高い精度,リコール,精度を達成し,顔のマスク検出に有効であることを示した。
論文 参考訳(メタデータ) (2020-11-04T16:02:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。