論文の概要: Beyond FACS: Data-driven Facial Expression Dictionaries, with Application to Predicting Autism
- arxiv url: http://arxiv.org/abs/2505.24679v1
- Date: Fri, 30 May 2025 15:06:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:53.017665
- Title: Beyond FACS: Data-driven Facial Expression Dictionaries, with Application to Predicting Autism
- Title（参考訳）: FACSを超えて: データ駆動型表情辞書と自閉症予測への応用
- Authors: Evangelos Sariyanidi, Lisa Yankowitz, Robert T. Schultz, John D. Herrington, Birkan Tunc, Jeffrey Cohn,
- Abstract要約: 顔面行動符号化システム(FACS)は、顔の行動と精神健康との関係を調べるために多くの研究で用いられている。
30年間にわたる激しい努力にもかかわらず、多くのアクションユニットの検出精度は行動研究に必要なしきい値を下回っていると考えられている。
本稿ではFACSの重要な特性を模倣する新しい符号化方式を提案する。
- 参考スコア（独自算出の注目度）: 3.0274846041592864
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Facial Action Coding System (FACS) has been used by numerous studies to investigate the links between facial behavior and mental health. The laborious and costly process of FACS coding has motivated the development of machine learning frameworks for Action Unit (AU) detection. Despite intense efforts spanning three decades, the detection accuracy for many AUs is considered to be below the threshold needed for behavioral research. Also, many AUs are excluded altogether, making it impossible to fulfill the ultimate goal of FACS-the representation of any facial expression in its entirety. This paper considers an alternative approach. Instead of creating automated tools that mimic FACS experts, we propose to use a new coding system that mimics the key properties of FACS. Specifically, we construct a data-driven coding system called the Facial Basis, which contains units that correspond to localized and interpretable 3D facial movements, and overcomes three structural limitations of automated FACS coding. First, the proposed method is completely unsupervised, bypassing costly, laborious and variable manual annotation. Second, Facial Basis reconstructs all observable movement, rather than relying on a limited repertoire of recognizable movements (as in automated FACS). Finally, the Facial Basis units are additive, whereas AUs may fail detection when they appear in a non-additive combination. The proposed method outperforms the most frequently used AU detector in predicting autism diagnosis from in-person and remote conversations, highlighting the importance of encoding facial behavior comprehensively. To our knowledge, Facial Basis is the first alternative to FACS for deconstructing facial expressions in videos into localized movements. We provide an open source implementation of the method at github.com/sariyanidi/FacialBasis.
- Abstract（参考訳）: 顔面行動符号化システム(FACS)は、顔の行動と精神健康との関係を調べるために多くの研究で用いられている。
FACSコーディングの退屈でコストのかかるプロセスは、アクションユニット(AU)検出のための機械学習フレームワークの開発を動機付けている。
30年間にわたる激しい努力にもかかわらず、多くのAUの検知精度は行動研究に必要なしきい値を下回っていると考えられている。
また、多くのAUが完全に排除されており、FACSの最終的な目標、すなわち顔の表情の表現を全て達成することは不可能である。
本稿では,別のアプローチについて考察する。
FACSの専門家を模倣する自動化ツールを作成する代わりに、FACSの重要な特性を模倣する新しいコーディングシステムを提案する。
具体的には、局所的および解釈可能な3次元顔の動きに対応する単位を含む顔バスと呼ばれるデータ駆動型符号化システムを構築し、自動FACS符号化の3つの構造的制限を克服する。
第一に、提案手法は完全に教師なしで、費用がかかる、手間がかかる、可変なマニュアルアノテーションをバイパスする。
第2に、ファシアル・バスは認識可能な運動の限られたレパートリーに頼るのではなく、すべての観測可能な運動を再構築する(自動化FACSのように)。
最後に、顔面基底単位は加法的であるが、AUは非加法結合に現れると検出に失敗する。
提案手法は、対人会話や遠隔会話から自閉症の診断を予測するために最も頻繁に使用されるAU検出器より優れており、顔の動作を包括的に符号化することの重要性を強調している。
我々の知る限り、Facial Basisは、ビデオ中の表情を局所的な動きに分解するFACSの最初の代替品である。
我々はgithub.com/sariyanidi/FacialBasisでこの手法のオープンソース実装を提供する。
関連論文リスト
- Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection [84.21257150497254]
本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を検討するための,知識に基づく新しいプロンプト学習フレームワークを提案する。
実験により,提案手法は最先端のシナリオ内およびクロスシナリオ検出性能を実現することを示す。
論文 参考訳（メタデータ） (2025-05-06T15:09:23Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿では,セマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
また,顔画像とラベル(テキストによる記述で示される)を併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳（メタデータ） (2024-08-29T07:11:50Z) - A PCA based Keypoint Tracking Approach to Automated Facial Expressions Encoding [3.0605062268685868]
本稿では,表情学習におけるアクション・ユニット(AU)の自動生成手法について検討する。
データ駆動型AUを生成するために,主成分分析(PCA)と顔キーポイント追跡に基づく教師なしアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-13T11:40:26Z) - Unsupervised learning of Data-driven Facial Expression Coding System (DFECS) using keypoint tracking [3.0605062268685868]
コンピュータビジョンベースの顔キーポイントトラッキングを利用して、自動顔符号化システムの教師なし学習を提案する。
結果は、disFAデータセットから推定されるDFECS AUが、テストデータセットの平均的な分散を91.29パーセントまで説明できることを示している。
DFECS AUの87.5パーセントは解釈可能であり、顔面筋運動の方向と一致している。
論文 参考訳（メタデータ） (2024-06-08T10:45:38Z) - MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。
我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
論文 参考訳（メタデータ） (2024-05-31T08:06:05Z) - Customizable Avatars with Dynamic Facial Action Coded Expressions
(CADyFACE) for Improved User Engagement [0.5358896402695404]
3Dアバターに基づく表情刺激は、行動バイオマーカー発見におけるユーザエンゲージメントを改善する可能性がある。
FACS(Facial Action Coding System)アクションユニット(AU)ラベルによるカスタマイズ可能なアバターベースの刺激がない。
本研究は,(1)被験者のエンゲージメントを維持するためのFACS-labeled,Customizable Avatar-based expression stimuli,(2)被験者の顔の反応を定量化するための学習ベース測定,(3)測定刺激ペアで表される構成物の検証に焦点を当てた。
論文 参考訳（メタデータ） (2024-03-12T05:00:38Z) - Contrastive Learning of Person-independent Representations for Facial
Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。
ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。
提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文 参考訳（メタデータ） (2024-03-06T01:49:28Z) - Boosting Facial Action Unit Detection Through Jointly Learning Facial
Landmark Detection and Domain Separation and Reconstruction [4.4150617622399055]
AUドメインの分離と再構築と顔のランドマーク検出を共同で学習するマルチタスク学習を導入した新しいAU検出フレームワークを提案する。
また,単純なプロジェクタによるコントラッシブ・ラーニングとコントラッシブ・ロスの改善に基づく新たな特徴アライメント手法を提案する。
論文 参考訳（メタデータ） (2023-10-08T15:49:26Z) - Adaptive Local-Global Relational Network for Facial Action Units
Recognition and Facial Paralysis Estimation [22.85506776477092]
本稿では, 顔認識のための新しい適応局所グラフネットワーク (ALGRNet) を提案し, 顔の麻痺推定に応用する。
ALGRNetは3つの新しい構造、すなわち、検出されたランドマークに基づいて適応的な筋肉領域を学習する適応的な領域学習モジュールで構成されている。
BP4データセットとdisFA AUデータセットの実験では、提案手法が最先端の手法よりも大きなマージンで優れていることが示されている。
論文 参考訳（メタデータ） (2022-03-03T16:14:49Z) - AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition [79.8779790682205]
本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。
課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
論文 参考訳（メタデータ） (2020-12-29T03:42:04Z) - J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face
Alignment via Adaptive Attention [57.51255553918323]
本稿では,共同AU検出と顔アライメントのための新しいエンドツーエンドディープラーニングフレームワークを提案する。
我々のフレームワークは、BP4D, DISFA, GFT, BP4D+ベンチマークにおいて、最先端のAU検出方法よりも大幅に優れています。
論文 参考訳（メタデータ） (2020-03-18T12:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。