論文の概要: Action Unit Enhance Dynamic Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2507.07678v1
- Date: Thu, 10 Jul 2025 11:59:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.382578
- Title: Action Unit Enhance Dynamic Facial Expression Recognition
- Title（参考訳）: 動的顔表情認識のためのアクションユニット
- Authors: Feng Liu, Lingna Gu, Chen Shi, Xiaolan Fu,
- Abstract要約: 本稿では,深層学習モデルの有効性を高めるために,AU拡張動的顔表情認識アーキテクチャ,AU-DFERを提案する。
異なる表現に対するアクションユニット(AUs)の寄与を定量化し、重み行列は事前知識を組み込むように設計されている。
この分野の主要なデータセットについて、DFERに対する最近の3つの主要なオープンソースアプローチで実験が行われている。
- 参考スコア（独自算出の注目度）: 7.142118694918976
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dynamic Facial Expression Recognition(DFER) is a rapidly evolving field of research that focuses on the recognition of time-series facial expressions. While previous research on DFER has concentrated on feature learning from a deep learning perspective, we put forward an AU-enhanced Dynamic Facial Expression Recognition architecture, namely AU-DFER, that incorporates AU-expression knowledge to enhance the effectiveness of deep learning modeling. In particular, the contribution of the Action Units(AUs) to different expressions is quantified, and a weight matrix is designed to incorporate a priori knowledge. Subsequently, the knowledge is integrated with the learning outcomes of a conventional deep learning network through the introduction of AU loss. The design is incorporated into the existing optimal model for dynamic expression recognition for the purpose of validation. Experiments are conducted on three recent mainstream open-source approaches to DFER on the principal datasets in this field. The results demonstrate that the proposed architecture outperforms the state-of-the-art(SOTA) methods without the need for additional arithmetic and generally produces improved results. Furthermore, we investigate the potential of AU loss function redesign to address data label imbalance issues in established dynamic expression datasets. To the best of our knowledge, this is the first attempt to integrate quantified AU-expression knowledge into various DFER models. We also devise strategies to tackle label imbalance, or minor class problems. Our findings suggest that employing a diverse strategy of loss function design can enhance the effectiveness of DFER. This underscores the criticality of addressing data imbalance challenges in mainstream datasets within this domain. The source code is available at https://github.com/Cross-Innovation-Lab/AU-DFER.
- Abstract（参考訳）: 動的表情認識(Dynamic Facial Expression Recognition, DFER)は、時系列表情の認識に焦点を当てた、急速に発展する研究分野である。
これまでのDFERの研究は、深層学習の観点から特徴学習に重点を置いてきたが、我々は、深層学習モデリングの有効性を高めるために、AU表現知識を組み込んだAU強調動的顔表情認識アーキテクチャ、すなわちAU-DFERを提唱した。
特に、異なる表現に対するアクションユニット(AUs)の寄与を定量化し、重み行列を事前知識を取り入れるように設計する。
その後、AU損失の導入により、従来のディープラーニングネットワークの学習結果と統合される。
この設計は、バリデーションのために、動的表現認識のための既存の最適モデルに組み込まれている。
この分野の主要なデータセットについて、DFERに対する最近の3つの主要なオープンソースアプローチで実験が行われている。
その結果,提案したアーキテクチャは算術演算を必要とせずに最先端のSOTA(State-of-the-art(SOTA))手法よりも優れた性能を示し,一般に改良された結果が得られた。
さらに、確立された動的表現データセットにおけるデータラベルの不均衡問題に対処するために、AU損失関数の再設計の可能性について検討する。
我々の知識を最大限に活用するために、これは様々なDFERモデルに定量化されたAU表現知識を統合する最初の試みである。
また、ラベルの不均衡やマイナークラス問題に取り組むための戦略も考案しています。
この結果から,損失関数設計の多様な戦略を用いることで,DFERの有効性が向上することが示唆された。
このことは、このドメイン内の主流データセットにおけるデータ不均衡の問題に対処する上での重要さを浮き彫りにしている。
ソースコードはhttps://github.com/Cross-Innovation-Lab/AU-DFERで公開されている。
関連論文リスト
- AAKT: Enhancing Knowledge Tracing with Alternate Autoregressive Modeling [23.247238358162157]
Knowledge Tracingは、学生の過去の演習と教育環境における追加情報に基づいて、将来のパフォーマンスを予測することを目的としている。
知識追跡のための自己回帰モデリングにおける主要な課題の1つは、運動を通して学習者の前(プレレスポンス)と後(ポストレスポンス)状態を効果的に表現することである。
本稿では, 自己回帰モデル(自己回帰モデル)の原理に則って, 知識追跡タスクを生成過程として扱うことによって, 新たな視点を提案する。
論文 参考訳（メタデータ） (2025-02-17T14:09:51Z) - Static for Dynamic: Towards a Deeper Understanding of Dynamic Facial Expressions Using Static Expression Data [83.48170683672427]
本稿では,DFERの補完リソースとしてSFERデータを統合した統合型デュアルモーダル学習フレームワークを提案する。
S4Dは、共有トランスフォーマー(ViT)エンコーダデコーダアーキテクチャを用いて、顔画像とビデオに対して、デュアルモーダルな自己教師付き事前トレーニングを採用する。
実験により、S4DはDFERをより深く理解し、新しい最先端のパフォーマンスを設定できることが示された。
論文 参考訳（メタデータ） (2024-09-10T01:57:57Z) - Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition [1.4374467687356276]
本稿では,MAE-Face self-supervised learning (SSL) 法と多視点融合注意機構を組み合わせた表現分類手法を提案する。
我々は、重要な顔の特徴を強調表示して、そのような機能がモデルのガイドとして機能するかどうかを判断することを目的とした、実装が容易でトレーニングなしのフレームワークを提案する。
Aff-wild2データセットにおけるモデル性能の改善により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-03-19T16:21:47Z) - Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain [16.62883475350025]
グラフニューラルネットワーク(GNN)は、人間の脳ネットワークと表現型を区別するための動的機能接続の学習において、有望であることを示している。
本稿では,計算機ビジョンにおけるJEPA(Joint Embedding Predictive Architecture)からインスピレーションを得た,時空間連成型自動エンコーダ(ST-JEMA)について紹介する。
論文 参考訳（メタデータ） (2024-03-11T04:49:41Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-27T14:39:41Z) - A Comparative Study of Data Augmentation Techniques for Deep Learning
Based Emotion Recognition [11.928873764689458]
感情認識のための一般的なディープラーニングアプローチを包括的に評価する。
音声信号の長距離依存性が感情認識に重要であることを示す。
スピード/レート向上は、モデル間で最も堅牢なパフォーマンス向上を提供する。
論文 参考訳（メタデータ） (2022-11-09T17:27:03Z) - Improved Speech Emotion Recognition using Transfer Learning and
Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。
SERの主な課題の1つは、データの不足である。
本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文 参考訳（メタデータ） (2021-08-05T10:39:39Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。