論文の概要: COGMEN: COntextualized GNN based Multimodal Emotion recognitioN
- arxiv url: http://arxiv.org/abs/2205.02455v1
- Date: Thu, 5 May 2022 05:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-06 13:38:58.575546
- Title: COGMEN: COntextualized GNN based Multimodal Emotion recognitioN
- Title（参考訳）: CoGMEN: コンテクスト化されたGNNベースのマルチモーダル感情認識
- Authors: Abhinav Joshi and Ashwani Bhat and Ayush Jain and Atin Vikram Singh
and Ashutosh Modi
- Abstract要約: 我々は,Contextualized Graph Neural Network based Multimodal Emotion RecognitioN (COGMEN)システムを提案する。
提案モデルはグラフニューラルネットワーク(GNN)に基づくアーキテクチャを用いて,会話における複雑な依存関係(ローカルおよびグローバル情報)をモデル化する。
- 参考スコア（独自算出の注目度）: 15.118690127447751
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Emotions are an inherent part of human interactions, and consequently, it is
imperative to develop AI systems that understand and recognize human emotions.
During a conversation involving various people, a person's emotions are
influenced by the other speaker's utterances and their own emotional state over
the utterances. In this paper, we propose COntextualized Graph Neural Network
based Multimodal Emotion recognitioN (COGMEN) system that leverages local
information (i.e., inter/intra dependency between speakers) and global
information (context). The proposed model uses Graph Neural Network (GNN) based
architecture to model the complex dependencies (local and global information)
in a conversation. Our model gives state-of-the-art (SOTA) results on IEMOCAP
and MOSEI datasets, and detailed ablation experiments show the importance of
modeling information at both levels.
- Abstract（参考訳）: 感情は人間のインタラクションに固有の部分であり、人間の感情を理解し認識するaiシステムを開発することが不可欠である。
様々な人々の会話において、人の感情は他の話者の発話と、その発話に対する自身の感情状態に影響される。
本稿では,ローカル情報(話者間の相互依存)とグローバル情報(コンテキスト)を活用した,コンテキスト付きグラフニューラルネットワークによる多モード感情認識(cogmen)システムを提案する。
提案モデルはグラフニューラルネットワーク(GNN)に基づくアーキテクチャを用いて,会話における複雑な依存関係(ローカルおよびグローバル情報)をモデル化する。
このモデルはiemocapとmoseiデータセットの最先端(sota)結果を与え、詳細なアブレーション実験は両方のレベルでのモデリング情報の重要性を示している。
関連論文リスト
- Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition [14.639340916340801]
マルチモーダル感情認識 (AR-IIGCN) 法に対して, モーダル内およびモーダル間グラフコントラストを用いた新しい適応表現を提案する。
まず、ビデオ、オーディオ、テキストの特徴を多層パーセプトロン(MLP)に入力し、それらを別々の特徴空間にマッピングする。
第2に,逆表現による3つのモーダル特徴に対するジェネレータと判別器を構築する。
第3に、モーダル内およびモーダル間相補的意味情報を取得するために、コントラッシブグラフ表現学習を導入する。
論文 参考訳（メタデータ） (2023-12-28T01:57:26Z) - Emotion Rendering for Conversational Speech Synthesis with Heterogeneous
Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。
データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。
我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文 参考訳（メタデータ） (2023-12-19T08:47:50Z) - Conversation Understanding using Relational Temporal Graph Neural
Networks with Auxiliary Cross-Modality Interaction [2.1261712640167856]
感情認識は人間の会話理解にとって重要な課題である。
我々は,CORECT(Cross-Modality Interaction)を用いた入力時間グラフニューラルネットワークを提案する。
CORECTは会話レベルの対話と発話レベルの時間的依存関係を効果的にキャプチャする。
論文 参考訳（メタデータ） (2023-11-08T07:46:25Z) - A Contextualized Real-Time Multimodal Emotion Recognition for
Conversational Agents using Graph Convolutional Networks in Reinforcement
Learning [0.800062359410795]
強化学習(conER-GRL)を用いたグラフ畳み込みネットワークを用いた文脈的感情認識のための新しいパラダイムを提案する。
会話は、文脈情報の効果的な抽出のために、発話の小さなグループに分割される。
このシステムは、GRU(Gated Recurrent Units)を用いて、これらの発話群からマルチモーダル特徴を抽出する。
論文 参考訳（メタデータ） (2023-10-24T14:31:17Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳（メタデータ） (2023-09-13T12:58:09Z) - EMERSK -- Explainable Multimodal Emotion Recognition with Situational
Knowledge [0.0]
状況知識を用いた説明可能なマルチモーダル感情認識(EMERSK)を提案する。
EMERSKは視覚情報を用いた人間の感情認識と説明のための汎用システムである。
本システムは, 表情, 姿勢, 歩行などの複数のモーダルを柔軟かつモジュラーな方法で処理することができる。
論文 参考訳（メタデータ） (2023-06-14T17:52:37Z) - A Hierarchical Regression Chain Framework for Affective Vocal Burst
Recognition [72.36055502078193]
本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。
データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。
提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
論文 参考訳（メタデータ） (2023-03-14T16:08:45Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。
本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。
本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
論文 参考訳（メタデータ） (2021-04-20T16:55:15Z) - Infusing Multi-Source Knowledge with Heterogeneous Graph Neural Network
for Emotional Conversation Generation [25.808037796936766]
実世界の会話では,マルチソース情報から感情を直感的に知覚する。
感情的会話生成のための異種グラフモデルを提案する。
実験結果は,本モデルがマルチソース知識から感情を効果的に知覚できることを示した。
論文 参考訳（メタデータ） (2020-12-09T06:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。