論文の概要: xTrace: A Facial Expressive Behaviour Analysis Tool for Continuous Affect Recognition

• arxiv url: http://arxiv.org/abs/2505.05043v1
• Date: Thu, 08 May 2025 08:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.805341
• Title: xTrace: A Facial Expressive Behaviour Analysis Tool for Continuous Affect Recognition
• Title（参考訳）: xTrace:継続的影響認識のための顔表情行動解析ツール
• Authors: Mani Kumar Tellamekala, Shashank Jaiswal, Thomas Smith, Timur Alamev, Gary McKeown, Anthony Brown, Michel Valstar,
• Abstract要約: 顔ビデオで表現力のある振る舞いを認識することは、Affective Computingにおける長年の課題である。 本稿では,自然主義的顔表現行動分析システム構築における2つの課題について論じる。 顔表現行動分析のための頑健なツールであるxTraceを紹介する。
• 参考スコア（独自算出の注目度）: 1.8804634388685453
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recognising expressive behaviours in face videos is a long-standing challenge in Affective Computing. Despite significant advancements in recent years, it still remains a challenge to build a robust and reliable system for naturalistic and in-the-wild facial expressive behaviour analysis in real time. This paper addresses two key challenges in building such a system: (1). The paucity of large-scale labelled facial affect video datasets with extensive coverage of the 2D emotion space, and (2). The difficulty of extracting facial video features that are discriminative, interpretable, robust, and computationally efficient. Toward addressing these challenges, we introduce xTrace, a robust tool for facial expressive behaviour analysis and predicting continuous values of dimensional emotions, namely valence and arousal, from in-the-wild face videos. To address challenge (1), our affect recognition model is trained on the largest facial affect video data set, containing ~450k videos that cover most emotion zones in the dimensional emotion space, making xTrace highly versatile in analysing a wide spectrum of naturalistic expressive behaviours. To address challenge (2), xTrace uses facial affect descriptors that are not only explainable, but can also achieve a high degree of accuracy and robustness with low computational complexity. The key components of xTrace are benchmarked against three existing tools: MediaPipe, OpenFace, and Augsburg Affect Toolbox. On an in-the-wild validation set composed of 50k videos, xTrace achieves 0.86 mean CCC and 0.13 mean absolute error values. We present a detailed error analysis of affect predictions from xTrace, illustrating (a). its ability to recognise emotions with high accuracy across most bins in the 2D emotion space, (b). its robustness to non-frontal head pose angles, and (c). a strong correlation between its uncertainty estimates and its accuracy.
• Abstract（参考訳）: 顔ビデオで表現力のある振る舞いを認識することは、Affective Computingにおける長年の課題である。 近年の進歩にもかかわらず、自然主義的かつ知的な顔表現行動分析をリアルタイムで行うための堅牢で信頼性の高いシステムを構築することは依然として課題である。 本稿では,そのようなシステムを構築する上での2つの課題について述べる。 2次元の感情空間を広範囲に網羅した映像データセットに大規模なラベル付き顔画像のパウシティが影響し,(2)。 差別的で、解釈可能で、堅牢で、計算的に効率的である顔映像の特徴を抽出することの難しさ。 これらの課題に対処するために、私たちはxTraceを紹介します。xTraceは、顔の表情分析と次元的感情の連続的な価値、すなわち原子価と興奮の予測のための堅牢なツールです。 課題(1)に対処するために、我々の感情認識モデルは、感情空間のほとんどの感情領域をカバーする約450kのビデオを含む、最大の顔影響ビデオデータセットに基づいて訓練されており、xTraceは、幅広い自然主義的表現行動の分析において非常に多目的である。 課題(2)に対処するために、xTraceは、説明可能なだけでなく、計算の複雑さを低くして高い精度と堅牢性を達成できる顔の影響記述子を使用する。 xTraceの主要なコンポーネントは、MediaPipe、OpenFace、Augsburg Affect Toolboxの3つの既存のツールに対してベンチマークされている。 50kビデオからなるWildの検証セットでは、xTraceは0.86の平均CCと0.13の平均絶対エラー値を達成する。 本稿では,xTrace による影響予測の詳細な誤差解析を行い,解析を行った。 (a) 2次元の感情空間のほとんどのビンに高い精度で感情を認識できる能力。 (b) 前頭以外の頭部に対する頑丈さは 角度を表わし (c)。 不確実性の推定と正確性の間に 強い相関関係があります

関連論文リスト

• V-NAW: Video-based Noise-aware Adaptive Weighting for Facial Expression Recognition [9.57248169951292]
  8th Affective Behavior Analysis in-the-Wild (ABAW) Challengeは、ビデオベースのAff-Wild2データセットを使用して人間の感情を評価することを目的としている。 この課題には、ビデオベースのEXPR認識トラックなど、さまざまなタスクが含まれています。 本稿では,ビデオベースのノイズ対応適応重み付け (V-NAW) を提案する。
  論文  参考訳（メタデータ） (2025-03-20T09:13:34Z)
• Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
  GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。 当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
  論文  参考訳（メタデータ） (2025-01-27T10:57:24Z)
• FaceXFormer: A Unified Transformer for Facial Analysis [59.94066615853198]
  FaceXFormerは10の顔分析タスクを実行することができるエンドツーエンドの統一トランスフォーマーモデルである。 タスクには、顔解析、ランドマーク検出、ヘッドポーズ推定、属性予測、年齢、性別、人種推定が含まれる。 私たちは、FaceXFormerを10種類の多様な顔認識データセットでトレーニングし、特殊モデルとマルチタスクモデルの両方に対して評価する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:04Z)
• Affective Behaviour Analysis via Integrating Multi-Modal Knowledge [24.74463315135503]
  ABAW(Affective Behavior Analysis in-wild)の第6回コンペティションでは、Aff-Wild2、Hum-Vidmimic2、C-EXPR-DBデータセットが使用されている。 本稿では,Valence-Arousal (VA) Estimation, Expression (EXPR) Recognition, Action Unit (AU) Detection, Compound Expression (CE) Recognition, Emotional Mimicry Intensity (EMI) Estimationの5つの競合トラックについて提案する。
  論文  参考訳（メタデータ） (2024-03-16T06:26:43Z)
• Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection [112.96004727646115]
  本研究では,実話を用いた顔操作映像の検出手法を開発した。 本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。 以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-18T17:14:54Z)
• Pre-training strategies and datasets for facial representation learning [58.8289362536262]
  いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。 顔に適応する2つの大規模表現学習を体系的に検討する。 私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
  論文  参考訳（メタデータ） (2021-03-30T17:57:25Z)
• Affect2MM: Affective Analysis of Multimedia Content Using Emotion Causality [84.69595956853908]
  本稿では,マルチメディアコンテンツを対象とした時系列感情予測学習手法であるAffect2MMを提案する。 私たちの目標は、現実の人間中心の状況や行動でキャラクターが描く様々な感情を自動的に捉えることです。
  論文  参考訳（メタデータ） (2021-03-11T09:07:25Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。