論文の概要: Modelling the Interplay of Eye-Tracking Temporal Dynamics and Personality for Emotion Detection in Face-to-Face Settings
- arxiv url: http://arxiv.org/abs/2510.24720v1
- Date: Fri, 19 Sep 2025 16:05:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-07 19:06:32.119871
- Title: Modelling the Interplay of Eye-Tracking Temporal Dynamics and Personality for Emotion Detection in Face-to-Face Settings
- Title（参考訳）: 対面設定における視線追跡時間ダイナミクスの相互作用のモデル化と感情検出のためのパーソナリティ
- Authors: Meisam J. Seikavandi, Jostein Fimland, Fabricio Batista Narcizo, Maria Barrett, Ted Vucurevich, Jesper Bünsow Boldt, Andrew Burke Dittberner, Paolo Burelli,
- Abstract要約: 本研究は、視線追跡シーケンス、ビッグファイブの性格特性、文脈刺激を統合して、知覚と知覚の両方の感情を予測するパーソナリティ対応のマルチモーダル・フレームワークを提案する。
その結果、刺激が感情予測を強く促進する一方、性格特性は感情認識に最大の改善をもたらすことが明らかとなった。
- 参考スコア（独自算出の注目度）: 1.2600839346487007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate recognition of human emotions is critical for adaptive human-computer interaction, yet remains challenging in dynamic, conversation-like settings. This work presents a personality-aware multimodal framework that integrates eye-tracking sequences, Big Five personality traits, and contextual stimulus cues to predict both perceived and felt emotions. Seventy-three participants viewed speech-containing clips from the CREMA-D dataset while providing eye-tracking signals, personality assessments, and emotion ratings. Our neural models captured temporal gaze dynamics and fused them with trait and stimulus information, yielding consistent gains over SVM and literature baselines. Results show that (i) stimulus cues strongly enhance perceived-emotion predictions (macro F1 up to 0.77), while (ii) personality traits provide the largest improvements for felt emotion recognition (macro F1 up to 0.58). These findings highlight the benefit of combining physiological, trait-level, and contextual information to address the inherent subjectivity of emotion. By distinguishing between perceived and felt responses, our approach advances multimodal affective computing and points toward more personalized and ecologically valid emotion-aware systems.
- Abstract（参考訳）: 人間の感情の正確な認識は、適応的な人間とコンピュータの相互作用にとって重要であるが、動的な会話のような設定では依然として困難である。
本研究は、視線追跡シーケンス、ビッグファイブの性格特性、文脈刺激を統合して、知覚と知覚の両方の感情を予測するパーソナリティ対応のマルチモーダル・フレームワークを提案する。
73%の被験者は、視線追跡信号、性格評価、感情評価を提供しながら、CREMA-Dデータセットから音声を含むクリップを観察した。
我々のニューラルモデルは、時間的視線力学を捉え、特性や刺激情報と融合させ、SVMや文学ベースラインよりも一貫した利得を得た。
その結果は
(i)刺激手段は、知覚感情予測(macro F1 から 0.77 まで)を強く増強する一方、
(ii)人格特性は感情認識において最大の改善をもたらす(macro F1 最大 0.58 まで)。
これらの知見は、感情の本質的な主観性に対処するために生理的、特性的、文脈的な情報を組み合わせる利点を浮き彫りにした。
認識と感情の反応を区別することにより、マルチモーダルな感情コンピューティングと、よりパーソナライズされ、生態学的に有効な感情認識システムに向けてのポイントを開拓する。
関連論文リスト
- egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks [26.06615078274544]
egoEMOTIONは、自我中心の視覚信号と生理信号と、感情と性格の密集した自己報告を結合する最初のデータセットである。
私たちのデータセットには43人の参加者から50時間以上の録音が含まれており、MetaのProject Ariaメガネを使って撮影されています。
論文 参考訳（メタデータ） (2025-10-25T03:04:51Z) - Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。
我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。
次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。
第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
論文 参考訳（メタデータ） (2025-04-25T05:28:21Z) - Modelling Emotions in Face-to-Face Setting: The Interplay of Eye-Tracking, Personality, and Temporal Dynamics [1.6029719942799865]
本研究では、視線追跡データ、時間的ダイナミクス、性格特性を統合することで、知覚と知覚の両方の感情の検出を大幅に向上させる方法について述べる。
本研究は,将来の情緒コンピューティングと人間エージェントシステムの設計を示唆するものである。
論文 参考訳（メタデータ） (2025-03-18T13:15:32Z) - Empathetic Conversational Agents: Utilizing Neural and Physiological Signals for Enhanced Empathetic Interactions [18.8995194180207]
会話エージェント(CA)は、テキストベースのチャットボットから豊かな感情表現が可能な共感的デジタル人間(DH)へと進化することで、人間とコンピュータの相互作用に革命をもたらしている。
本稿では,脳神経信号と生理信号とをCAの知覚モジュールに統合し,共感的相互作用を増強する方法について検討する。
論文 参考訳（メタデータ） (2025-01-14T19:19:37Z) - Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-11-08T04:53:55Z) - Computer Vision Estimation of Emotion Reaction Intensity in the Wild [1.5481864635049696]
本稿では,新たに導入された感情反応強度(ERI)推定課題について述べる。
視覚領域で訓練された4つのディープニューラルネットワークと、感情反応強度を予測するために視覚的特徴と音声的特徴の両方で訓練されたマルチモーダルモデルを開発した。
論文 参考訳（メタデータ） (2023-03-19T19:09:41Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。