論文の概要: Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies

• arxiv url: http://arxiv.org/abs/2108.10152v1
• Date: Wed, 18 Aug 2021 21:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-29 12:13:03.174712
• Title: Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies
• Title（参考訳）: 複数のモダリティからの感情認識:基本と方法論
• Authors: Sicheng Zhao, Guoli Jia, Jufeng Yang, Guiguang Ding, Kurt Keutzer
• Abstract要約: マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
• 参考スコア（独自算出の注目度）: 106.62835060095532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans are emotional creatures. Multiple modalities are often involved when we express emotions, whether we do so explicitly (e.g., facial expression, speech) or implicitly (e.g., text, image). Enabling machines to have emotional intelligence, i.e., recognizing, interpreting, processing, and simulating emotions, is becoming increasingly important. In this tutorial, we discuss several key aspects of multi-modal emotion recognition (MER). We begin with a brief introduction on widely used emotion representation models and affective modalities. We then summarize existing emotion annotation strategies and corresponding computational tasks, followed by the description of main challenges in MER. Furthermore, we present some representative approaches on representation learning of each affective modality, feature fusion of different affective modalities, classifier optimization for MER, and domain adaptation for MER. Finally, we outline several real-world applications and discuss some future directions.
• Abstract（参考訳）: 人間は感情的な生き物だ。 感情を明示的に表現する場合(例えば、表情、スピーチ)、暗黙的に(例えば、テキスト、画像)、複数のモダリティが関与することが多い。 感情知性を持つ機械、すなわち感情を認識し、解釈し、処理し、シミュレートする機械がますます重要になっている。 本稿では,マルチモーダル感情認識(mer)のいくつかの重要な側面について述べる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に,既存の感情アノテーション戦略と対応する計算タスクを要約し,merの主な課題について述べる。 さらに,各感情的モダリティの表現学習,異なる感情的モダリティの特徴融合,merの分類器最適化,merのドメイン適応に関する代表的なアプローチを提案する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。

関連論文リスト

• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition [32.34485263348587]
  マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。 我々は,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。 我々は、統語的・意味的なレベルでモダリティ融合を行い、感情と感情の差異と一貫性をよりよく捉えるために、モダリティとサンプルの対比学習を導入する。
  論文  参考訳（メタデータ） (2022-11-21T08:46:01Z)
• Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
  適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。 提案手法とCAER-Sデータセットの最先端手法を比較した。
  論文  参考訳（メタデータ） (2021-11-03T15:08:55Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause Extraction [18.68808042388714]
  感情認識と感情原因検出の両方に共同で取り組むソリューションを提案する。 暗黙的に表現された感情を理解する上で,常識的知識が重要な役割を担っていることを考慮し,新しい手法を提案する。 共通センス推論とマルチタスクフレームワークを含む場合,両タスクのパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-06-17T20:11:04Z)
• Computational Emotion Analysis From Images: Recent Advances and Future Directions [79.05003998727103]
  本章では,画像感情分析(IEA)を計算的観点から導入することを目的としている。 心理学の一般的な感情表現モデルから始めます。 そして、研究者たちが解決しようとしている重要な計算問題を定義します。
  論文  参考訳（メタデータ） (2021-03-19T13:33:34Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• Temporal aggregation of audio-visual modalities for emotion recognition [0.5352699766206808]
  本研究では,時間的オフセットの異なる時間的オフセットと時間的ウィンドウからの音声・視覚的モダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。 提案手法は,文献と人間の精度評価から,他の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-07-08T18:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。