論文の概要: Unsupervised learning of Data-driven Facial Expression Coding System (DFECS) using keypoint tracking
- arxiv url: http://arxiv.org/abs/2406.05434v1
- Date: Sat, 8 Jun 2024 10:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 19:45:22.143669
- Title: Unsupervised learning of Data-driven Facial Expression Coding System (DFECS) using keypoint tracking
- Title（参考訳）: キーポイントトラッキングを用いたデータ駆動表情符号化システム(DFECS)の教師なし学習
- Authors: Shivansh Chandra Tripathi, Rahul Garg,
- Abstract要約: コンピュータビジョンベースの顔キーポイントトラッキングを利用して、自動顔符号化システムの教師なし学習を提案する。
結果は、disFAデータセットから推定されるDFECS AUが、テストデータセットの平均的な分散を91.29パーセントまで説明できることを示している。
DFECS AUの87.5パーセントは解釈可能であり、顔面筋運動の方向と一致している。
- 参考スコア（独自算出の注目度）: 3.0605062268685868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of existing facial coding systems, such as the Facial Action Coding System (FACS), relied on manual examination of facial expression videos for defining Action Units (AUs). To overcome the labor-intensive nature of this process, we propose the unsupervised learning of an automated facial coding system by leveraging computer-vision-based facial keypoint tracking. In this novel facial coding system called the Data-driven Facial Expression Coding System (DFECS), the AUs are estimated by applying dimensionality reduction to facial keypoint movements from a neutral frame through a proposed Full Face Model (FFM). FFM employs a two-level decomposition using advanced dimensionality reduction techniques such as dictionary learning (DL) and non-negative matrix factorization (NMF). These techniques enhance the interpretability of AUs by introducing constraints such as sparsity and positivity to the encoding matrix. Results show that DFECS AUs estimated from the DISFA dataset can account for an average variance of up to 91.29 percent in test datasets (CK+ and BP4D-Spontaneous) and also surpass the variance explained by keypoint-based equivalents of FACS AUs in these datasets. Additionally, 87.5 percent of DFECS AUs are interpretable, i.e., align with the direction of facial muscle movements. In summary, advancements in automated facial coding systems can accelerate facial expression analysis across diverse fields such as security, healthcare, and entertainment. These advancements offer numerous benefits, including enhanced detection of abnormal behavior, improved pain analysis in healthcare settings, and enriched emotion-driven interactions. To facilitate further research, the code repository of DFECS has been made publicly accessible.
- Abstract（参考訳）: ファシアル・アクション・コーディング・システム(FACS)のような既存の顔符号化システムの開発は、アクション・ユニット(AU)を定義するための表情ビデオの手動検査に頼っていた。
このプロセスの労働集約性を克服するために,コンピュータビジョンベースの顔キーポイントトラッキングを活用して,自動化された顔符号化システムの教師なし学習を提案する。
データ駆動顔表情符号化システム(DFECS)と呼ばれるこの新しい顔符号化システムにおいて、AUは、提案したフルフェイスモデル(FFM)を介して中性フレームからの顔キーポイント運動に次元性還元を適用して推定する。
FFMは、辞書学習(DL)や非負行列分解(NMF)のような高度な次元削減技術を用いて2段階分解を行う。
これらの技術は、符号化行列に疎性や肯定性などの制約を導入することにより、AUの解釈可能性を高める。
その結果、DisFAデータセットから推定されるDFECS AUは、テストデータセット(CK+とBP4D-Spontaneous)の91.29パーセントの平均分散を説明でき、これらのデータセットにおけるFACS AUのキーポイントベースの等価値によって説明される分散を超越できることが示された。
さらに、DFECS AUの87.5パーセントは解釈可能であり、顔面筋運動の方向と一致している。
要約すると、自動化された顔認識システムの進歩は、セキュリティ、ヘルスケア、エンターテイメントといった様々な分野における表情分析を加速させることができる。
これらの進歩は、異常な行動の検出の強化、医療環境における痛みの分析の改善、感情駆動相互作用の強化など、多くの利点を提供する。
さらなる研究を容易にするため、DFECSのコードリポジトリが公開されている。
関連論文リスト
- A PCA based Keypoint Tracking Approach to Automated Facial Expressions Encoding [3.0605062268685868]
本稿では,表情学習におけるアクション・ユニット(AU)の自動生成手法について検討する。
データ駆動型AUを生成するために,主成分分析(PCA)と顔キーポイント追跡に基づく教師なしアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-13T11:40:26Z) - Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition [1.4374467687356276]
本稿では,MAE-Face self-supervised learning (SSL) 法と多視点融合注意機構を組み合わせた表現分類手法を提案する。
我々は、重要な顔の特徴を強調表示して、そのような機能がモデルのガイドとして機能するかどうかを判断することを目的とした、実装が容易でトレーニングなしのフレームワークを提案する。
Aff-wild2データセットにおけるモデル性能の改善により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-03-19T16:21:47Z) - SAFER: Situation Aware Facial Emotion Recognition [0.0]
表情から感情を認識する新しいシステムであるSAFERを提案する。
最先端のディープラーニング技術を使って、顔画像からさまざまな特徴を抽出する。
目に見えない多様な表情に適応でき、現実世界の用途に適している。
論文 参考訳（メタデータ） (2023-06-14T20:42:26Z) - A Survey on Computer Vision based Human Analysis in the COVID-19 Era [58.79053747159797]
新型コロナウイルスの出現は、社会全体だけでなく、個人の生活にも大きく影響している。
マスクやソーシャルディスタンシングの義務、公共空間での定期消毒、スクリーニングアプリケーションの使用など、さまざまな予防策が世界中で導入されている。
これらの発展は、(i)視覚データの自動解析による予防対策の支援、(ii)生体認証などの既存の視覚ベースのサービスの正常な操作を容易にする、新しいコンピュータビジョン技術の必要性を喚起した。
論文 参考訳（メタデータ） (2022-11-07T17:20:39Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Self-supervised Contrastive Learning of Multi-view Facial Expressions [9.949781365631557]
顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。
本稿では,多視点表情のコントラスト学習(CL-MEx)を提案する。
論文 参考訳（メタデータ） (2021-08-15T11:23:34Z) - A Computer Vision System to Help Prevent the Transmission of COVID-19 [79.62140902232628]
新型コロナウイルスのパンデミックは世界中の日常生活のあらゆる領域に影響を与える。
保健機関は、ソーシャルディスタンス、フェイスマスクを着用し、触れる顔を避けることをアドバイスします。
我々は、新型コロナウイルスの感染を防ぐためのディープラーニングベースのコンピュータビジョンシステムを開発した。
論文 参考訳（メタデータ） (2021-03-16T00:00:04Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳（メタデータ） (2020-08-20T09:49:13Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。