論文の概要: UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause
- arxiv url: http://arxiv.org/abs/2404.00403v2
- Date: Wed, 09 Oct 2024 09:14:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:28:33.578896
- Title: UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause
- Title（参考訳）: UniMEEC:統合マルチモーダル感情認識と感情原因を目指して
- Authors: Guimin Hu, Zhihong Zhu, Daniel Hershcovich, Lijie Hu, Hasti Seifi, Jiayuan Xie,
- Abstract要約: 感情と感情の因果関係を明らかにするために,統一マルチモーダル感情認識・感情因果分析フレームワーク(UniMEEC)を提案する。
UniMEECは、MERCおよびMECPEタスクをマスク予測問題として再構成し、因果プロンプトテンプレートでそれらを統一する。
4つの公開ベンチマークデータセットの実験結果は、MERCおよびMECPEタスクのモデル性能を検証する。
- 参考スコア（独自算出の注目度）: 18.99103120856208
- License:
- Abstract: Multimodal emotion recognition in conversation (MERC) and multimodal emotion-cause pair extraction (MECPE) have recently garnered significant attention. Emotions are the expression of affect or feelings; responses to specific events, or situations -- known as emotion causes. Both collectively explain the causality between human emotion and intents. However, existing works treat emotion recognition and emotion cause extraction as two individual problems, ignoring their natural causality. In this paper, we propose a Unified Multimodal Emotion recognition and Emotion-Cause analysis framework (UniMEEC) to explore the causality between emotion and emotion cause. Concretely, UniMEEC reformulates the MERC and MECPE tasks as mask prediction problems and unifies them with a causal prompt template. To differentiate the modal effects, UniMEEC proposes a multimodal causal prompt to probe the pre-trained knowledge specified to modality and implements cross-task and cross-modality interactions under task-oriented settings. Experiment results on four public benchmark datasets verify the model performance on MERC and MECPE tasks and achieve consistent improvements compared with the previous state-of-the-art methods.
- Abstract（参考訳）: 会話におけるマルチモーダル感情認識(MERC)とマルチモーダル感情原因ペア抽出(MECPE)は近年注目されている。
感情は感情や感情、特定の出来事に対する反応、感情の原因として知られる状況を表す。
両者とも、人間の感情と意図の因果関係を説明する。
しかし、既存の研究は感情認識と感情の抽出を2つの個別の問題として扱い、それらの自然な因果性を無視している。
本稿では,感情と感情の因果関係を明らかにするために,統一マルチモーダル感情認識・感情因果分析フレームワーク(UniMEEC)を提案する。
具体的には、UniMEECはMERCとMECPEのタスクをマスク予測問題として再構成し、因果プロンプトテンプレートでそれらを統一する。
モーダル効果を区別するために、UniMEECは、モーダルに指定された事前訓練された知識を探索するマルチモーダル因果的プロンプトを提案し、タスク指向設定下でのクロスタスクおよびクロスモーダル相互作用を実装した。
4つの公開ベンチマークデータセットを用いて、MERCおよびMECPEタスクのモデル性能を検証し、従来の最先端手法と比較して一貫した改善を実現した。
関連論文リスト
- Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-11-08T04:53:55Z) - EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。
しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。
EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
論文 参考訳（メタデータ） (2024-06-24T08:33:02Z) - Think out Loud: Emotion Deducing Explanation in Dialogues [57.90554323226896]
対話における感情推論(Emotion Deducing Explanation in Dialogues)を提案する。
EDENは感情と原因を明確な考え方で認識する。
大規模言語モデル(LLM)が感情や原因をよりよく認識するのに役立ちます。
論文 参考訳（メタデータ） (2024-06-07T08:58:29Z) - SemEval-2024 Task 3: Multimodal Emotion Cause Analysis in Conversations [53.60993109543582]
SemEval-2024 Task 3 "Multimodal Emotion Cause Analysis in Conversations" は、会話からすべての感情とそれに対応する原因を抽出することを目的としている。
異なるモダリティ設定の下では、2つのサブタスクから構成される: 会話におけるテキスト感情因果ペア抽出(TECPE)と会話におけるマルチモーダル感情因果ペア抽出(MECPE)である。
本稿では,タスク,データセット,評価設定について紹介し,トップチームのシステムを要約し,参加者の知見について議論する。
論文 参考訳（メタデータ） (2024-05-19T09:59:00Z) - Samsung Research China-Beijing at SemEval-2024 Task 3: A multi-stage framework for Emotion-Cause Pair Extraction in Conversations [12.095837596104552]
人間とコンピュータの相互作用においては、エージェントは感情を理解することで人間に反応することが不可欠である。
会話におけるマルチモーダル感情因果ペア抽出というタスクは、感情を認識し、因果表現を識別する役割を担っている。
本研究では,感情を生成するための多段階フレームワークを提案し,対象感情から感情因果対を抽出する。
論文 参考訳（メタデータ） (2024-04-25T11:52:21Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳（メタデータ） (2023-09-13T12:58:09Z) - UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion
Recognition [32.34485263348587]
マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。
我々は,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。
我々は、統語的・意味的なレベルでモダリティ融合を行い、感情と感情の差異と一貫性をよりよく捉えるために、モダリティとサンプルの対比学習を導入する。
論文 参考訳（メタデータ） (2022-11-21T08:46:01Z) - A Multi-turn Machine Reading Comprehension Framework with Rethink
Mechanism for Emotion-Cause Pair Extraction [6.6564045064972825]
感情原因ペア抽出(ECPE)は感情原因分析の新たな課題である。
本稿では,ECPE タスクに対処するための再考機構 (MM-R) を備えたマルチターン MRC フレームワークを提案する。
我々のフレームワークは、ペアリング行列の生成を避けながら、感情と原因の複雑な関係をモデル化することができる。
論文 参考訳（メタデータ） (2022-09-16T14:38:58Z) - Shapes of Emotions: Multimodal Emotion Recognition in Conversations via
Emotion Shifts [2.443125107575822]
会話における感情認識(ERC)は重要かつ活発な研究課題である。
最近の研究は、ERCタスクに複数のモダリティを使用することの利点を示している。
マルチモーダルERCモデルを提案し,感情シフト成分で拡張する。
論文 参考訳（メタデータ） (2021-12-03T14:39:04Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-08-18T21:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。