論文の概要: Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts

• arxiv url: http://arxiv.org/abs/2112.01938v1
• Date: Fri, 3 Dec 2021 14:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 14:18:13.937970
• Title: Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts
• Title（参考訳）: 感情の形状:感情シフトによる会話におけるマルチモーダル感情認識
• Authors: Harsh Agarwal and Keshav Bansal and Abhinav Joshi and Ashutosh Modi
• Abstract要約: 会話における感情認識(ERC)は重要かつ活発な研究課題である。 最近の研究は、ERCタスクに複数のモダリティを使用することの利点を示している。 マルチモーダルERCモデルを提案し,感情シフト成分で拡張する。
• 参考スコア（独自算出の注目度）: 2.443125107575822
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Emotion Recognition in Conversations (ERC) is an important and active research problem. Recent work has shown the benefits of using multiple modalities (e.g., text, audio, and video) for the ERC task. In a conversation, participants tend to maintain a particular emotional state unless some external stimuli evokes a change. There is a continuous ebb and flow of emotions in a conversation. Inspired by this observation, we propose a multimodal ERC model and augment it with an emotion-shift component. The proposed emotion-shift component is modular and can be added to any existing multimodal ERC model (with a few modifications), to improve emotion recognition. We experiment with different variants of the model, and results show that the inclusion of emotion shift signal helps the model to outperform existing multimodal models for ERC and hence showing the state-of-the-art performance on MOSEI and IEMOCAP datasets.
• Abstract（参考訳）: 会話における感情認識(ERC)は重要かつ活発な研究課題である。 最近の研究は、複数のモダリティ(テキスト、オーディオ、ビデオなど)をERCタスクに使用することの利点を示している。 会話では、外部からの刺激が変化を起こさない限り、参加者は特定の感情状態を維持する傾向がある。 会話には連続したebbと感情の流れがあります。 この観察から着想を得て,マルチモーダルERCモデルを提案し,感情シフト成分で拡張する。 提案した感情シフトコンポーネントはモジュール化されており、感情認識を改善するために既存のマルチモーダルERCモデルに追加することができる。 実験の結果,感情シフト信号が組み込まれていることにより,既存のマルチモーダルモデルよりも優れており,MOSEIおよびIEMOCAPデータセット上での最先端の性能を示すことがわかった。

関連論文リスト

• Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
  28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。 このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。 本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:01:22Z)
• ECR-Chain: Advancing Generative Language Models to Better Emotion-Cause Reasoners through Reasoning Chains [61.50113532215864]
  CEE(Causal Emotion Entailment)は、ターゲット発話で表現される感情を刺激する会話における因果発話を特定することを目的としている。 CEEにおける現在の研究は、主に会話のセマンティックな相互作用と感情的な相互作用をモデル化することに焦点を当てている。 本研究では,会話中の感情表現から刺激を推測するために,ステップバイステップの推論手法である感情・因果関係(ECR-Chain)を導入する。
  論文  参考訳（メタデータ） (2024-05-17T15:45:08Z)
• Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
  隠れ変数分離に基づく動的因果解離モデルを提案する。 このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。 具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-13T12:58:09Z)
• CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition [34.24557248359872]
  会話における感情認識のための感情シフト認識型クロスモーダルフュージョンネットワーク(CFN-ESA)を提案する。 CFN-ESAは、ユニモーダルエンコーダ(RUME)、クロスモーダルエンコーダ(ACME)、感情シフトモジュール(LESM)からなる。
  論文  参考訳（メタデータ） (2023-07-28T09:29:42Z)
• EmotionIC: emotional inertia and contagion-driven dependency modeling for emotion recognition in conversation [34.24557248359872]
  本稿では,ERCタスクに対する感情的慣性・伝染型依存性モデリング手法(EmotionIC)を提案する。 EmotionICは3つの主要コンポーネント、すなわちIDマスク付きマルチヘッド注意(IMMHA)、対話型Gated Recurrent Unit(DiaGRU)、Skip-chain Conditional Random Field(SkipCRF)から構成されている。 実験結果から,提案手法は4つのベンチマークデータセットにおいて,最先端のモデルよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-20T13:58:35Z)
• M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation [1.3864478040954673]
  視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。 マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。 提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
  論文  参考訳（メタデータ） (2022-06-05T14:18:58Z)
• EmoCaps: Emotion Capsule based Model for Conversational Emotion Recognition [2.359022633145476]
  会話中の感情認識(ERC)は、話者の状態を分析し、会話中の感情を識別することを目的としている。 ERCにおける最近の研究は文脈モデリングに焦点を当てているが、文脈的感情傾向の表現は無視されている。 Emoformerと呼ばれる新しい構造は、異なるモーダルから複数のモーダル感情ベクトルを抽出し、それらを文ベクトルで融合して感情カプセルにする。
  論文  参考訳（メタデータ） (2022-03-25T08:42:57Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。