論文の概要: Modelling Emotions in Face-to-Face Setting: The Interplay of Eye-Tracking, Personality, and Temporal Dynamics
- arxiv url: http://arxiv.org/abs/2503.16532v1
- Date: Tue, 18 Mar 2025 13:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:55:55.310076
- Title: Modelling Emotions in Face-to-Face Setting: The Interplay of Eye-Tracking, Personality, and Temporal Dynamics
- Title（参考訳）: 対面設定における感情のモデル化:視線追跡,個性,時間的ダイナミクスの相互作用
- Authors: Meisam Jamshidi Seikavandi, Jostein Fimland, Maria Barrett, Paolo Burelli,
- Abstract要約: 本研究では、視線追跡データ、時間的ダイナミクス、性格特性を統合することで、知覚と知覚の両方の感情の検出を大幅に向上させる方法について述べる。
本研究は,将来の情緒コンピューティングと人間エージェントシステムの設計を示唆するものである。
- 参考スコア（独自算出の注目度）: 1.4645774851707578
- License:
- Abstract: Accurate emotion recognition is pivotal for nuanced and engaging human-computer interactions, yet remains difficult to achieve, especially in dynamic, conversation-like settings. In this study, we showcase how integrating eye-tracking data, temporal dynamics, and personality traits can substantially enhance the detection of both perceived and felt emotions. Seventy-three participants viewed short, speech-containing videos from the CREMA-D dataset, while being recorded for eye-tracking signals (pupil size, fixation patterns), Big Five personality assessments, and self-reported emotional states. Our neural network models combined these diverse inputs including stimulus emotion labels for contextual cues and yielded marked performance gains compared to the state-of-the-art. Specifically, perceived valence predictions reached a macro F1-score of 0.76, and models incorporating personality traits and stimulus information demonstrated significant improvements in felt emotion accuracy. These results highlight the benefit of unifying physiological, individual and contextual factors to address the subjectivity and complexity of emotional expression. Beyond validating the role of user-specific data in capturing subtle internal states, our findings inform the design of future affective computing and human-agent systems, paving the way for more adaptive and cross-individual emotional intelligence in real-world interactions.
- Abstract（参考訳）: 正確な感情認識は、人間とコンピュータのインタラクションのニュアンスやエンゲージメントにおいて重要であるが、特に動的な会話のような環境では達成が難しい。
本研究では、視線追跡データ、時間的ダイナミクス、性格特性を統合することで、知覚と知覚の両方の感情の検出を大幅に向上させる方法について述べる。
73%の参加者が、CREMA-Dデータセットから短い音声を含む動画を視聴し、視線追跡信号(パイルサイズ、固定パターン)、ビッグファイブの性格評価、自己報告された感情状態に記録した。
我々のニューラルネットワークモデルは、これらの多様な入力を組み合わせることで、文脈的手がかりに対する刺激感情ラベルと、最先端技術と比較して顕著なパフォーマンス向上を実現しました。
特に、知覚された原子価予測はマクロF1スコア0.76に達し、性格特性と刺激情報を組み込んだモデルでは、感情の精度が大幅に向上した。
これらの結果は、感情表現の主観性と複雑さに対処するために、生理的、個人的、文脈的要因を統一する利点を浮き彫りにした。
ユーザ固有のデータによる微妙な内部状態の把握だけでなく,今後の情緒的コンピューティングや人間エージェントシステムの設計にも貢献し,現実のインタラクションにおいて,より適応的で個人横断的な感情的知性を実現するための道を開いた。
関連論文リスト
- Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-11-08T04:53:55Z) - Implicit Design Choices and Their Impact on Emotion Recognition Model
Development and Evaluation [5.534160116442057]
感情の主観性は、正確で堅牢な計算モデルを開発する上で大きな課題を生じさせる。
この論文は、多様なデータセットの収集から始まる感情認識の批判的な側面を調べる。
非表現的トレーニングデータの課題に対処するため、この研究はマルチモーダルストレス感情データセットを収集する。
論文 参考訳（メタデータ） (2023-09-06T02:45:42Z) - Facial Expression Recognition using Squeeze and Excitation-powered Swin
Transformers [0.0]
本研究では,Swin Vision Transformers (SwinT) とSwin Vision Transformers (SE) を用いて,視覚タスクに対処するフレームワークを提案する。
我々の焦点は、最小限のデータを使って顔の感情を認識できるSwinTアーキテクチャに基づく効率的なFERモデルを作ることであった。
我々は、ハイブリッドデータセットでモデルをトレーニングし、そのパフォーマンスをAffectNetデータセットで評価し、F1スコア0.5420を達成しました。
論文 参考訳（メタデータ） (2023-01-26T02:29:17Z) - A cross-corpus study on speech emotion recognition [29.582678406878568]
本研究では,行動感情から学習した情報が,自然感情の検出に有用かどうかを検討する。
成人英語の4つのデータセットは、行動的、誘惑的、自然な感情をカバーしている。
性能劣化を正確に調査するための最先端モデルを提案する。
論文 参考訳（メタデータ） (2022-07-05T15:15:22Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳（メタデータ） (2022-05-02T09:21:39Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。
感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文 参考訳（メタデータ） (2021-03-01T08:31:08Z) - Impact of multiple modalities on emotion recognition: investigation into
3d facial landmarks, action units, and physiological data [4.617405932149653]
感情認識における3次元顔データ,行動単位,生理的データの解析を行った。
分析の結果,3次元顔のランドマークと生理的データの両方が表情・感情認識に有効であることが示唆された。
一方、アクションユニットは、他のモダリティと融合した場合、感情認識に肯定的な影響を与える可能性があるが、この結果から、それらを用いて感情を検出することは困難であることが示唆された。
論文 参考訳（メタデータ） (2020-05-17T18:59:57Z) - Emotion Recognition System from Speech and Visual Information based on
Convolutional Neural Networks [6.676572642463495]
本研究では,感情を高精度かつリアルタイムに認識できるシステムを提案する。
音声認識システムの精度を高めるため、音声データも分析し、両情報源から得られる情報を融合する。
論文 参考訳（メタデータ） (2020-02-29T22:09:46Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。