論文の概要: Multimodal Emotion-Cause Pair Extraction in Conversations
- arxiv url: http://arxiv.org/abs/2110.08020v1
- Date: Fri, 15 Oct 2021 11:30:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 13:25:01.122174
- Title: Multimodal Emotion-Cause Pair Extraction in Conversations
- Title(参考訳): 会話におけるマルチモーダル感情因果対抽出
- Authors: Fanfan Wang, Zixiang Ding, Rui Xia, Zhaoyu Li and Jianfei Yu
- Abstract要約: 会話におけるマルチモーダル感情因果ペア抽出というタスクを導入する。
我々は、テキスト、音声、ビデオに反映された会話から、感情とその関連要因を共同で抽出することを目指している。
予備実験の結果は、会話における感情と原因の両方を発見するためのマルチモーダル情報融合の可能性を示している。
- 参考スコア(独自算出の注目度): 23.95461291718006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotion cause analysis has received considerable attention in recent years.
Previous studies primarily focused on emotion cause extraction from texts in
news articles or microblogs. It is also interesting to discover emotions and
their causes in conversations. As conversation in its natural form is
multimodal, a large number of studies have been carried out on multimodal
emotion recognition in conversations, but there is still a lack of work on
multimodal emotion cause analysis. In this work, we introduce a new task named
Multimodal Emotion-Cause Pair Extraction in Conversations, aiming to jointly
extract emotions and their associated causes from conversations reflected in
multiple modalities (text, audio and video). We accordingly construct a
multimodal conversational emotion cause dataset, Emotion-Cause-in-Friends,
which contains 9,272 multimodal emotion-cause pairs annotated on 13,509
utterances in the sitcom Friends. We finally benchmark the task by establishing
a baseline system that incorporates multimodal features for emotion-cause pair
extraction. Preliminary experimental results demonstrate the potential of
multimodal information fusion for discovering both emotions and causes in
conversations.
- Abstract(参考訳): 近年,感情要因分析が注目されている。
感情に焦点を当てた以前の研究では、ニュース記事やマイクロブログのテキストから感情が抽出される。
会話の中で感情とその原因を発見することも興味深い。
自然な形の会話はマルチモーダルであるので、会話におけるマルチモーダル感情認識に関する多くの研究が行われているが、マルチモーダル感情原因分析に関する作業が不足している。
本研究では,複数のモーダルに反映された会話(テキスト,音声,ビデオ)から感情とその関連要因を共同で抽出することを目的とした,Multimodal Emotion-Cause Pair extract in Conversationsというタスクを導入する。
そこで我々は,Sitecom Friendsの13,509発の発話に,9,272件のマルチモーダル感情を含むマルチモーダル会話感情原因データセットEmotion-Cause-in-Friendsを構築した。
最後に,感情によるペア抽出のためのマルチモーダル機能を組み込んだベースラインシステムを構築し,タスクのベンチマークを行った。
予備実験の結果は、会話における感情と原因の両方を発見するためのマルチモーダル情報融合の可能性を示している。
関連論文リスト
- Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳(メタデータ) (2023-09-13T12:58:09Z) - Multi-Task Learning Framework for Extracting Emotion Cause Span and
Entailment in Conversations [3.2260643152341095]
本研究では,会話における感情の原因と細部を抽出するニューラルモデルを提案する。
MuTECは、感情、感情の原因、会話の細部を抽出するエンドツーエンドのマルチタスク学習フレームワークである。
論文 参考訳(メタデータ) (2022-11-07T18:14:45Z) - Why Do You Feel This Way? Summarizing Triggers of Emotions in Social
Media Posts [61.723046082145416]
CovidET (Emotions and their Triggers during Covid-19)は、COVID-19に関連する英国のReddit投稿1,900件のデータセットである。
我々は、感情を共同で検出し、感情のトリガーを要約する強力なベースラインを開発する。
分析の結果,コビデットは感情特異的要約における新たな課題と,長文のソーシャルメディア投稿におけるマルチ感情検出の課題が示唆された。
論文 参考訳(メタデータ) (2022-10-22T19:10:26Z) - Speech Synthesis with Mixed Emotions [77.05097999561298]
異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。
次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。
実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
論文 参考訳(メタデータ) (2022-08-11T15:45:58Z) - EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in
Hindi for Emotion Recognition in Dialogues [44.79509115642278]
我々はHindiにEmoInHindiという大きな会話データセットを作成し、会話におけるマルチラベルの感情と強度の認識を可能にした。
我々は、精神保健と犯罪被害者の法的カウンセリングのために、ウィザード・オブ・オズの方法でデータセットを作成します。
論文 参考訳(メタデータ) (2022-05-27T11:23:50Z) - M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database [139.08528216461502]
マルチモーダルマルチシーンマルチラベル感情対話データセットM3EDを提案する。
M3EDには56の異なるテレビシリーズの990のダイアドの感情対話があり、合計9,082回、24,449発の発声がある。
我々の知る限りでは、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
論文 参考訳(メタデータ) (2022-05-09T06:52:51Z) - MSCTD: A Multimodal Sentiment Chat Translation Dataset [66.81525961469494]
マルチモーダルチャット翻訳(MCT)という新しいタスクを導入する。
MCTは、関連する対話履歴と視覚的コンテキストの助けを借りて、より正確な翻訳を生成することを目的としている。
本研究は,マルチモーダルチャット翻訳とマルチモーダル対話感情分析の両方の研究を容易にする。
論文 参考訳(メタデータ) (2022-02-28T09:40:46Z) - Shapes of Emotions: Multimodal Emotion Recognition in Conversations via
Emotion Shifts [2.443125107575822]
会話における感情認識(ERC)は重要かつ活発な研究課題である。
最近の研究は、ERCタスクに複数のモダリティを使用することの利点を示している。
マルチモーダルERCモデルを提案し,感情シフト成分で拡張する。
論文 参考訳(メタデータ) (2021-12-03T14:39:04Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳(メタデータ) (2021-08-18T21:55:20Z) - Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause
Extraction [18.68808042388714]
感情認識と感情原因検出の両方に共同で取り組むソリューションを提案する。
暗黙的に表現された感情を理解する上で,常識的知識が重要な役割を担っていることを考慮し,新しい手法を提案する。
共通センス推論とマルチタスクフレームワークを含む場合,両タスクのパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-06-17T20:11:04Z) - Infusing Multi-Source Knowledge with Heterogeneous Graph Neural Network
for Emotional Conversation Generation [25.808037796936766]
実世界の会話では,マルチソース情報から感情を直感的に知覚する。
感情的会話生成のための異種グラフモデルを提案する。
実験結果は,本モデルがマルチソース知識から感情を効果的に知覚できることを示した。
論文 参考訳(メタデータ) (2020-12-09T06:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。