論文の概要: Gaze-enhanced Crossmodal Embeddings for Emotion Recognition

• arxiv url: http://arxiv.org/abs/2205.00129v1
• Date: Sat, 30 Apr 2022 02:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 09:09:57.824688
• Title: Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
• Title（参考訳）: 感情認識のための視線強調クロスモーダル埋め込み
• Authors: Ahmed Abdou, Ekta Sood, Philipp M\"uller, Andreas Bulling
• Abstract要約: 本稿では,感情認識のための新たなアプローチを提案する。 本手法は,音声のみの感情分類と映像のみの感情分類において,従来の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 12.55494846948686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotional expressions are inherently multimodal -- integrating facial behavior, speech, and gaze -- but their automatic recognition is often limited to a single modality, e.g. speech during a phone call. While previous work proposed crossmodal emotion embeddings to improve monomodal recognition performance, despite its importance, an explicit representation of gaze was not included. We propose a new approach to emotion recognition that incorporates an explicit representation of gaze in a crossmodal emotion embedding framework. We show that our method outperforms the previous state of the art for both audio-only and video-only emotion classification on the popular One-Minute Gradual Emotion Recognition dataset. Furthermore, we report extensive ablation experiments and provide detailed insights into the performance of different state-of-the-art gaze representations and integration strategies. Our results not only underline the importance of gaze for emotion recognition but also demonstrate a practical and highly effective approach to leveraging gaze information for this task.
• Abstract（参考訳）: 感情的な表情は本質的にマルチモーダルであり、顔の行動、話し方、視線などを統合するが、その自動認識は電話中の音声など、単一のモダリティに限定されることが多い。 以前の研究ではモノモダル認識性能を改善するためにクロスモーダル感情埋め込みを提案したが、その重要性にもかかわらず、視線の明示的な表現は含まれなかった。 クロスモーダル感情埋め込みフレームワークにおいて,視線の明示的な表現を組み込んだ感情認識手法を提案する。 本手法は,音声のみの感情分類と映像のみの感情分類において,人気の高いOne-Minute Gradual Emotion Recognitionデータセットよりも優れていた。 さらに,広範なアブレーション実験を報告し,最先端の視線表現と統合戦略の性能に関する詳細な知見を提供する。 本研究は,感情認識における視線の重要性だけでなく,視線情報を活用するための実践的かつ高効率なアプローチを示すものである。

関連論文リスト

• Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences [4.740624855896404]
  自己教師型歩行に基づく感情表現のための選択的強強化を利用したコントラスト学習フレームワークを提案する。 提案手法はEmotion-Gait (E-Gait) と Emilya のデータセットで検証され, 異なる評価プロトコル下での最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-08T09:13:10Z)
• Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition [0.0]
  本稿では、マルチモーダル感情認識モデルをより実践的なユニモーダルモデルに変換するという課題に対処する革新的なアプローチを提案する。 音声信号から感情を認識することは、人間とコンピュータの相互作用、感情コンピューティング、メンタルヘルスアセスメントにおける重要な課題である。
  論文  参考訳（メタデータ） (2024-01-04T22:42:14Z)
• High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
  画像から高レベルな文脈表現を抽出する手法を提案する。 このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。 我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
  論文  参考訳（メタデータ） (2023-05-05T13:20:41Z)
• An Empirical Study and Improvement for Speech Emotion Recognition [22.250228893114066]
  マルチモーダル音声の感情認識は、音声とテキストから話者の感情を検出することを目的としている。 本研究では、音声とテキストのモダリティ情報を融合する方法という、シンプルながら重要な問題について考察する。 実験により,本手法はIEMOCAPデータセット上で得られた新しい最先端結果を示す。
  論文  参考訳（メタデータ） (2023-04-08T03:24:06Z)
• Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
  視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。 既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。 視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T02:20:03Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Target Guided Emotion Aware Chat Machine [58.8346820846765]
  意味レベルと感情レベルにおける投稿に対する応答の整合性は、人間のような対話を提供する対話システムにとって不可欠である。 この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-15T01:55:37Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• Emotion Recognition From Gait Analyses: Current Research and Future Directions [48.93172413752614]
  歩行はウォーカーの感情に関する情報を伝える 様々な感情と歩行パターンのマッピングは、感情の自動認識のための新しい情報源を提供する。 歩行は遠隔観察可能で 模倣が困難で 被験者との協力も少ない
  論文  参考訳（メタデータ） (2020-03-13T08:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。