論文の概要: Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers
- arxiv url: http://arxiv.org/abs/2207.11081v3
- Date: Fri, 9 Jun 2023 09:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 18:26:24.347686
- Title: Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers
- Title(参考訳): 視覚変換器を用いたポーカーフェイス生成による表情からの感情分離と認識
- Authors: Jia Li, Jiantao Nie, Dan Guo, Richang Hong, Meng Wang
- Abstract要約: 静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。
PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
- 参考スコア(独自算出の注目度): 57.67586172996843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation learning and feature disentanglement have recently attracted
much research interests in facial expression recognition. The ubiquitous
ambiguity of emotion labels is detrimental to those methods based on
conventional supervised representation learning. Meanwhile, directly learning
the mapping from a facial expression image to an emotion label lacks explicit
supervision signals of facial details. In this paper, we propose a novel FER
model, called Poker Face Vision Transformer or PF-ViT, to separate and
recognize the disturbance-agnostic emotion from a static facial image via
generating its corresponding poker face without the need for paired images.
Here, we regard an expressive face as the comprehensive result of a set of
facial muscle movements on one's poker face (i.e., emotionless face), inspired
by Facial Action Coding System. The proposed PF-ViT leverages vanilla Vision
Transformers, and are firstly pre-trained as Masked Autoencoders on a large
facial expression dataset without emotion labels, obtaining excellent
representations. It mainly consists of five components: 1) an encoder mapping
the facial expression to a complete representation, 2) a separator decomposing
the representation into an emotional component and an orthogonal residue, 3) a
generator that can reconstruct the expressive face and synthesize the poker
face, 4) a discriminator distinguishing the fake face produced by the
generator, trained adversarially with the encoder and generator, 5) a
classification head recognizing the emotion. Quantitative and qualitative
results demonstrate the effectiveness of our method, which trumps the
state-of-the-art methods on four popular FER testing sets.
- Abstract(参考訳): 表現学習と特徴のゆがみは、近年、表情認識に多くの研究関心を惹きつけている。
感情ラベルのユビキタスな曖昧さは、従来の教師付き表現学習に基づく手法に有害である。
一方、表情画像から感情ラベルへのマッピングを直接学習するには、顔の詳細の明確な監視信号が欠けている。
本稿では,PF-ViT(Poker Face Vision Transformer)と呼ばれる新しいFERモデルを提案する。
ここでは、表情的顔は、表情行動符号化システムにインスパイアされたポーカー顔(即ち無情顔)の顔面筋運動の集合の包括的結果であると考えている。
提案したPF-ViTは、バニラビジョントランスフォーマーを活用し、感情ラベルのない大きな表情データセット上で、まずMasked Autoencodersとして事前訓練され、優れた表現が得られる。
主に5つの要素からなる。
1)表情を完全な表現にマッピングするエンコーダ
2)表象を感情成分と直交残基に分解する分離器。
3)表現面を再構成してポーカー面を合成できる発電機。
4) コーダ及びジェネレータと敵対的に訓練されたジェネレータによって生成された偽の顔を識別する判別器
5)感情を認識した分類ヘッド。
提案手法の有効性を定量的・定性的に検証し,4つのFERテストセットにおける最先端の手法を実証した。
関連論文リスト
- Interpretable Explainability in Facial Emotion Recognition and
Gamification for Data Collection [0.0]
顔の感情認識モデルを訓練するには、大量のデータと高価なアノテーションプロセスが必要である。
我々は,人間の明示的なラベル付けを行なわずに,注釈付き顔感情データを取得するゲーミフィケーション手法を開発した。
プレイヤーの表情認知能力と表情能力は,繰り返しゲームプレイによって著しく向上した。
論文 参考訳(メタデータ) (2022-11-09T09:53:48Z) - PERI: Part Aware Emotion Recognition In The Wild [4.206175795966693]
本稿では視覚的特徴を用いた感情認識に焦点を当てる。
身体のポーズと顔のランドマークの両方から生成されたマスクを用いて、入力画像からキー領域を抽出し、部分認識空間(PAS)画像を作成する。
野生のEMOTICデータセットで公開されている結果について報告する。
論文 参考訳(メタデータ) (2022-10-18T20:01:40Z) - Disentangling Identity and Pose for Facial Expression Recognition [54.50747989860957]
より識別的な特徴表現を学習するために,識別モデルを提案し,不整形表情認識(IPD-FER)モデルを提案する。
アイデンティティエンコーダでは、訓練中に訓練済みの顔認識モデルを利用して固定し、特定の表情訓練データに対する制限を軽減する。
合成された中性画像と同一個体の表情画像との差を比較することにより、表現成分はアイデンティティやポーズからさらに切り離される。
論文 参考訳(メタデータ) (2022-08-17T06:48:13Z) - Emotion-Controllable Generalized Talking Face Generation [6.22276955954213]
顔形状を意識した感情音声生成手法を提案する。
本手法は,中性感情における対象の個人像を1枚だけ微調整することで,任意の顔に適応することができる。
論文 参考訳(メタデータ) (2022-05-02T18:41:36Z) - Learning Fair Face Representation With Progressive Cross Transformer [79.73754444296213]
フェアフェイス認識のためのプログレッシブクロストランス (PCT) 手法を提案する。
我々は,PCTが最先端FR性能を達成しつつ,顔認識におけるバイアスを軽減することができることを示した。
論文 参考訳(メタデータ) (2021-08-11T01:31:14Z) - Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文 参考訳(メタデータ) (2021-08-07T11:30:35Z) - I Only Have Eyes for You: The Impact of Masks On Convolutional-Based
Facial Expression Recognition [78.07239208222599]
今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。
また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
論文 参考訳(メタデータ) (2021-04-16T20:03:30Z) - Human Expression Recognition using Facial Shape Based Fourier
Descriptors Fusion [15.063379178217717]
本論文では,顔面筋の変化に基づく新しい表情認識法を提案する。
幾何学的特徴は、口、目、鼻などの顔領域を特定するために用いられる。
7つの人間の表現の分類にマルチクラスサポートベクターマシンが適用される。
論文 参考訳(メタデータ) (2020-12-28T05:01:44Z) - Learning Emotional-Blinded Face Representations [77.7653702071127]
感情反応に関連する表情に盲目な2つの顔表現を提案する。
この作業は、個人データ保護に関する新たな国際規則によって動機付けられている。
論文 参考訳(メタデータ) (2020-09-18T09:24:10Z) - Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。
連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
論文 参考訳(メタデータ) (2020-06-22T13:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。