論文の概要: CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for
Dialogue Emotion Recognition
- arxiv url: http://arxiv.org/abs/2307.15432v1
- Date: Fri, 28 Jul 2023 09:29:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 13:03:57.439827
- Title: CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for
Dialogue Emotion Recognition
- Title(参考訳): cfn-esa:対話感情認識のための感情シフト型クロスモーダル融合ネットワーク
- Authors: Jiang Li, Yingjian Liu, Xiaoping Wang, and Zhigang Zeng
- Abstract要約: 会話におけるマルチモーダル感情認識(ERC)は,様々な分野の研究コミュニティから注目を集めている。
ERCのための感情シフト認識(CFN-ESA)を用いたクロスモーダル融合ネットワークを提案する。
CFN-ESAは、ユニモーダルエンコーダ(RUME)、クロスモーダルエンコーダ(ACME)、感情シフトモジュール(LESM)から構成される。
- 参考スコア(独自算出の注目度): 31.848164354634967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Emotion Recognition in Conversation (ERC) has garnered growing
attention from research communities in various fields. In this paper, we
propose a cross-modal fusion network with emotion-shift awareness (CFN-ESA) for
ERC. Extant approaches employ each modality equally without distinguishing the
amount of emotional information, rendering it hard to adequately extract
complementary and associative information from multimodal data. To cope with
this problem, in CFN-ESA, textual modalities are treated as the primary source
of emotional information, while visual and acoustic modalities are taken as the
secondary sources. Besides, most multimodal ERC models ignore emotion-shift
information and overfocus on contextual information, leading to the failure of
emotion recognition under emotion-shift scenario. We elaborate an emotion-shift
module to address this challenge. CFN-ESA mainly consists of the unimodal
encoder (RUME), cross-modal encoder (ACME), and emotion-shift module (LESM).
RUME is applied to extract conversation-level contextual emotional cues while
pulling together the data distributions between modalities; ACME is utilized to
perform multimodal interaction centered on textual modality; LESM is used to
model emotion shift and capture related information, thereby guide the learning
of the main task. Experimental results demonstrate that CFN-ESA can effectively
promote performance for ERC and remarkably outperform the state-of-the-art
models.
- Abstract(参考訳): 会話におけるマルチモーダル感情認識(ERC)は,様々な分野の研究コミュニティから注目を集めている。
本稿では,感情移入認識(CFN-ESA)を用いたクロスモーダル融合ネットワークを提案する。
既存のアプローチでは、感情情報の量を区別することなく、各モダリティを等しく使い、多モーダルデータから相補的で連想的な情報を適切に抽出することは困難である。
この問題に対処するため、cfn-esaでは、テキストモーダルが感情情報の一次源として扱われ、視覚と音響モーダルが二次源として扱われる。
さらに、多くのマルチモーダルercモデルは、感情シフト情報を無視し、文脈情報に重きを置き、感情シフトシナリオにおける感情認識の失敗に繋がる。
この課題に対処するために、感情シフトモジュールを詳しく説明する。
CFN-ESAは主に、ユニモーダルエンコーダ(RUME)、クロスモーダルエンコーダ(ACME)、感情シフトモジュール(LESM)から構成される。
RUMEは、モダリティ間のデータ分布をまとめながら、会話レベルの文脈的感情的手がかりを抽出し、ACMEはテキストのモダリティを中心としたマルチモーダルインタラクション、LESMは感情変化をモデル化し、関連する情報をキャプチャするために、そして、メインタスクの学習を導く。
実験の結果,CFN-ESAはERCの性能を効果的に向上し,最先端モデルよりも優れていた。
関連論文リスト
- A Transformer-Based Model With Self-Distillation for Multimodal Emotion
Recognition in Conversations [15.77747948751497]
本稿では, 自己蒸留(SDT)を用いたトランスフォーマーモデルを提案する。
提案モデルでは、モーダル内およびモーダル間変換器を用いて、モーダル内およびモーダル間相互作用をキャプチャする。
本稿では,ハードラベルとソフトラベルの知識をモデルから各モダリティへ伝達するために自己蒸留を導入する。
論文 参考訳(メタデータ) (2023-10-31T14:33:30Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳(メタデータ) (2023-09-13T12:58:09Z) - SI-LSTM: Speaker Hybrid Long-short Term Memory and Cross Modal Attention
for Emotion Recognition in Conversation [16.505046191280634]
会話における感情認識(ERC)は、インテリジェントヘルスケア、会話のための人工知能、チャット履歴に対する意見マイニングなど、さまざまなアプリケーションにとって極めて重要である。
ERCの要点は、会話全体を通して、相互モダリティと相互時間相互作用の両方をモデル化することである。
従来の方法では,会話の時系列情報を学習する一方で,会話における各話者の異なる感情状態を追跡する能力が欠如している。
論文 参考訳(メタデータ) (2023-05-04T10:13:15Z) - EmotionIC: Emotional Inertia and Contagion-Driven Dependency Modeling
for Emotion Recognition in Conversation [37.41082775317849]
情緒的慣性・伝染(Emotional Inertia and Contagion, EmotionIC)による依存モデリングの新しいアプローチを提案する。
EmotionICは3つの主要コンポーネントから構成されており、Identity Masked Multi-Head Attention (IMMHA), Dialogue-based Gated Recurrent Unit (DiaGRU), Skip-chain Random Field (SkipCRF)である。
論文 参考訳(メタデータ) (2023-03-20T13:58:35Z) - M2FNet: Multi-modal Fusion Network for Emotion Recognition in
Conversation [1.3864478040954673]
視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。
マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。
提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
論文 参考訳(メタデータ) (2022-06-05T14:18:58Z) - TSAM: A Two-Stream Attention Model for Causal Emotion Entailment [50.07800752967995]
CEE(Causal Emotion Entailment)は、会話の発話において感情の背後にある潜在的な原因を発見することを目的としている。
我々は,グローバルビューにおける発話間の相関を捉えるために,複数の発話を同期的に分類する。
対話履歴における話者の感情的影響を効果的にモデル化する2ストリーム注意モデル(TSAM)を提案する。
論文 参考訳(メタデータ) (2022-03-02T02:11:41Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Group Gated Fusion on Attention-based Bidirectional Alignment for
Multimodal Emotion Recognition [63.07844685982738]
本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。
LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。
提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-01-17T09:46:59Z) - Shapes of Emotions: Multimodal Emotion Recognition in Conversations via
Emotion Shifts [2.443125107575822]
会話における感情認識(ERC)は重要かつ活発な研究課題である。
最近の研究は、ERCタスクに複数のモダリティを使用することの利点を示している。
マルチモーダルERCモデルを提案し,感情シフト成分で拡張する。
論文 参考訳(メタデータ) (2021-12-03T14:39:04Z) - MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal
Emotion Recognition [118.73025093045652]
マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。
従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。
提案するMEMOBERTは感情認識性能を大幅に向上させる。
論文 参考訳(メタデータ) (2021-10-27T09:57:00Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳(メタデータ) (2021-08-18T21:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。