論文の概要: AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition
- arxiv url: http://arxiv.org/abs/2012.14587v2
- Date: Fri, 2 Apr 2021 07:00:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-18 20:37:26.679591
- Title: AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition
- Title(参考訳): 表情認識のためのAU-Expression Knowledge Constrained Representation Learning
- Authors: Tao Pu, Tianshui Chen, Yuan Xie, Hefeng Wu, and Liang Lin
- Abstract要約: 本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。
課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
- 参考スコア(独自算出の注目度): 79.8779790682205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recognizing human emotion/expressions automatically is quite an expected
ability for intelligent robotics, as it can promote better communication and
cooperation with humans. Current deep-learning-based algorithms may achieve
impressive performance in some lab-controlled environments, but they always
fail to recognize the expressions accurately for the uncontrolled in-the-wild
situation. Fortunately, facial action units (AU) describe subtle facial
behaviors, and they can help distinguish uncertain and ambiguous expressions.
In this work, we explore the correlations among the action units and facial
expressions, and devise an AU-Expression Knowledge Constrained Representation
Learning (AUE-CRL) framework to learn the AU representations without AU
annotations and adaptively use representations to facilitate facial expression
recognition. Specifically, it leverages AU-expression correlations to guide the
learning of the AU classifiers, and thus it can obtain AU representations
without incurring any AU annotations. Then, it introduces a knowledge-guided
attention mechanism that mines useful AU representations under the constraint
of AU-expression correlations. In this way, the framework can capture local
discriminative and complementary features to enhance facial representation for
facial expression recognition. We conduct experiments on the challenging
uncontrolled datasets to demonstrate the superiority of the proposed framework
over current state-of-the-art methods. Codes and trained models are available
at https://github.com/HCPLab-SYSU/AUE-CRL.
- Abstract(参考訳): 人間の感情や表現を自動的に認識することは、知的なロボット工学にとって期待できる能力である。
現在のディープラーニングベースのアルゴリズムは、実験室で制御された環境では印象的なパフォーマンスを達成しているが、制御不能な状況では表現を正確に認識できていない。
幸いなことに、顔のアクションユニット(AU)は微妙な顔の振る舞いを記述しており、不明瞭で曖昧な表情を区別するのに役立ちます。
本研究では,アクション単位と表情の相関について検討し,AUアノテーションを使わずにAU表現を学習するためのAU-Expression Knowledge Constrained Representation Learning (AUE-CRL) フレームワークを考案し,表情認識を容易にするために適応的に表現を使用する。
具体的には、AU-発現相関を利用してAU分類器の学習を誘導し、AUアノテーションを発生させることなくAU表現を得ることができる。
次に,AU-表現相関の制約の下で有用なAU表現をマイニングする,知識誘導型アテンション機構を導入する。
このようにして、このフレームワークは、表情認識のための顔表現を強化するために、局所的な識別的および補完的な特徴を捉えることができる。
提案手法が最先端の手法よりも優れていることを示すために,難解な非制御データセットについて実験を行った。
コードとトレーニングされたモデルはhttps://github.com/HCPLab-SYSU/AUE-CRLで公開されている。
関連論文リスト
- Contrastive Learning of Person-independent Representations for Facial
Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。
ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。
提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文 参考訳(メタデータ) (2024-03-06T01:49:28Z) - Guided Interpretable Facial Expression Recognition via Spatial Action
Unit Cues [59.3149596834771]
本研究では,空間行動単位(aus)を分類器のトレーニングに明示的に組み込んで,深い解釈可能なモデルを構築するための学習戦略を提案する。
提案手法は,分類性能を劣化させることなく,階層的解釈性を向上させることができる。
論文 参考訳(メタデータ) (2024-02-01T02:13:49Z) - A Contextualized Real-Time Multimodal Emotion Recognition for
Conversational Agents using Graph Convolutional Networks in Reinforcement
Learning [0.800062359410795]
強化学習(conER-GRL)を用いたグラフ畳み込みネットワークを用いた文脈的感情認識のための新しいパラダイムを提案する。
会話は、文脈情報の効果的な抽出のために、発話の小さなグループに分割される。
このシステムは、GRU(Gated Recurrent Units)を用いて、これらの発話群からマルチモーダル特徴を抽出する。
論文 参考訳(メタデータ) (2023-10-24T14:31:17Z) - Global-to-local Expression-aware Embeddings for Facial Action Unit
Detection [18.629509376315752]
本稿では,微妙で連続的な顔の動きを捉えるための表現表現法を提案する。
AU特徴マップ抽出器と対応するAUマスク抽出器から構成される。
提案手法は,従来よりも優れており,広く使用されている顔データセット上での最先端の性能を実現している。
論文 参考訳(メタデータ) (2022-10-27T04:00:04Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳(メタデータ) (2022-08-10T15:46:05Z) - An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。
具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。
提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
論文 参考訳(メタデータ) (2021-06-05T06:19:14Z) - Exploring Adversarial Learning for Deep Semi-Supervised Facial Action
Unit Recognition [38.589141957375226]
一部AU標識顔画像からの顔動作単位認識のための深層半教師付きフレームワークを提案する。
提案手法は、逆学習によりAU分布を捕捉し、最先端のAU認識作業より優れる。
論文 参考訳(メタデータ) (2021-06-04T04:50:00Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。