論文の概要: Computer Vision Estimation of Emotion Reaction Intensity in the Wild

• arxiv url: http://arxiv.org/abs/2303.10741v2
• Date: Thu, 3 Aug 2023 00:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:07:00.277185
• Title: Computer Vision Estimation of Emotion Reaction Intensity in the Wild
• Title（参考訳）: 野生における感情反応強度のコンピュータビジョンによる推定
• Authors: Yang Qian, Ali Kargarandehkordi, Onur Cezmi Mutlu, Saimourya Surabhi, Mohammadmahdi Honarmand, Dennis Paul Wall, Peter Washington
• Abstract要約: 本稿では,新たに導入された感情反応強度(ERI)推定課題について述べる。 視覚領域で訓練された4つのディープニューラルネットワークと、感情反応強度を予測するために視覚的特徴と音声的特徴の両方で訓練されたマルチモーダルモデルを開発した。
• 参考スコア（独自算出の注目度）: 1.5481864635049696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotions play an essential role in human communication. Developing computer vision models for automatic recognition of emotion expression can aid in a variety of domains, including robotics, digital behavioral healthcare, and media analytics. There are three types of emotional representations which are traditionally modeled in affective computing research: Action Units, Valence Arousal (VA), and Categorical Emotions. As part of an effort to move beyond these representations towards more fine-grained labels, we describe our submission to the newly introduced Emotional Reaction Intensity (ERI) Estimation challenge in the 5th competition for Affective Behavior Analysis in-the-Wild (ABAW). We developed four deep neural networks trained in the visual domain and a multimodal model trained with both visual and audio features to predict emotion reaction intensity. Our best performing model on the Hume-Reaction dataset achieved an average Pearson correlation coefficient of 0.4080 on the test set using a pre-trained ResNet50 model. This work provides a first step towards the development of production-grade models which predict emotion reaction intensities rather than discrete emotion categories.
• Abstract（参考訳）: 感情は人間のコミュニケーションにおいて重要な役割を果たす。 感情表現の自動認識のためのコンピュータビジョンモデルの開発は、ロボティクス、デジタル行動医療、メディア分析など、さまざまな領域で助けとなる。 感情的な表現は、伝統的に感情的なコンピューティング研究でモデル化されている3つのタイプがある:アクションユニット、ヴァレンス・オーラル(VA)、カテゴリー的感情。 これらの表現をよりきめ細かなラベルへと進める取り組みの一環として、我々は新たに導入された感情反応強度(ERI)推定課題を、ABAW(Affective Behavior Analysis in-the-Wild)の第5回コンペティションで紹介する。 視覚領域で訓練された4つの深層ニューラルネットワークと、感情反応強度を予測するために視覚と音声の両方を訓練したマルチモーダルモデルを開発した。 hume-reactionデータセット上でのベストパフォーマンスモデルは,事前学習されたresnet50モデルを用いて,テストセット上で平均ピアソン相関係数0.4080を達成した。 この研究は、個別の感情カテゴリではなく、感情反応の強度を予測する生産段階モデルの開発に向けた第一歩となる。

関連論文リスト

• Emotion Detection through Body Gesture and Face [0.0]
  このプロジェクトは、非顔の手がかり、特に手、身体のジェスチャー、ジェスチャーに焦点を当てることによる感情認識の課題に対処する。 従来の感情認識システムは、主に表情分析に依存しており、ボディランゲージを通して伝達される豊かな感情情報を無視することが多い。 このプロジェクトの目的は、マシンが人間の感情をより包括的でニュアンスな方法で解釈し、反応する能力を高めることで、感情コンピューティングの分野に貢献することにある。
  論文  参考訳（メタデータ） (2024-07-13T15:15:50Z)
• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• Implicit Design Choices and Their Impact on Emotion Recognition Model Development and Evaluation [5.534160116442057]
  感情の主観性は、正確で堅牢な計算モデルを開発する上で大きな課題を生じさせる。 この論文は、多様なデータセットの収集から始まる感情認識の批判的な側面を調べる。 非表現的トレーニングデータの課題に対処するため、この研究はマルチモーダルストレス感情データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-06T02:45:42Z)
• Mutilmodal Feature Extraction and Attention-based Fusion for Emotion Estimation in Videos [16.28109151595872]
  ABAW(Affective Behavior Analysis in the-wild)に関するCVPR 2023コンペティションについて紹介する。 我々は、音声、ポーズ、画像など、競合データセットから異なる長さのビデオから抽出したマルチモーダル特徴を利用した。 本システムでは,検証データセット上での0.361の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-18T14:08:06Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
  顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。 感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
  論文  参考訳（メタデータ） (2021-03-01T08:31:08Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• The BIRAFFE2 Experiment. Study in Bio-Reactions and Faces for Emotion-based Personalization for AI Systems [0.0]
  異なる人物の感情的反応を捉えるための統一パラダイムを提案する。 機械学習手法のために、簡単に使用・開発できるフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-29T18:35:34Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。