論文の概要: Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset

• arxiv url: http://arxiv.org/abs/2407.02751v1
• Date: Wed, 3 Jul 2024 01:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:54:34.716076
• Title: Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset
• Title（参考訳）: マルチモーダル会話における感情と感情の合同理解:ベンチマークデータセット
• Authors: Rui Liu, Haolin Zuo, Zheng Lian, Xiaofen Xing, Björn W. Schuller, Haizhou Li,
• Abstract要約: Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU)は、マルチモーダルな会話履歴に現れる意味情報をデコードすることを目的としている。 MC-EIUは多くのヒューマン・コンピュータ・インタフェースのテクノロジーを実現している。 MC-EIUデータセットは,7つの感情カテゴリー,9つの意図カテゴリ,3つのモダリティ,すなわちテキスト,音響,視覚的内容,および英語とマンダリンの2つの言語を特徴とする。
• 参考スコア（独自算出の注目度）: 74.74686464187474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU) aims to decode the semantic information manifested in a multimodal conversational history, while inferring the emotions and intents simultaneously for the current utterance. MC-EIU is enabling technology for many human-computer interfaces. However, there is a lack of available datasets in terms of annotation, modality, language diversity, and accessibility. In this work, we propose an MC-EIU dataset, which features 7 emotion categories, 9 intent categories, 3 modalities, i.e., textual, acoustic, and visual content, and two languages, i.e., English and Mandarin. Furthermore, it is completely open-source for free access. To our knowledge, MC-EIU is the first comprehensive and rich emotion and intent joint understanding dataset for multimodal conversation. Together with the release of the dataset, we also develop an Emotion and Intent Interaction (EI$^2$) network as a reference system by modeling the deep correlation between emotion and intent in the multimodal conversation. With comparative experiments and ablation studies, we demonstrate the effectiveness of the proposed EI$^2$ method on the MC-EIU dataset. The dataset and codes will be made available at: https://github.com/MC-EIU/MC-EIU.
• Abstract（参考訳）: Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU) は、感情と意図を同時に推定しながら、マルチモーダルな会話履歴に現れる意味情報を復号することを目的としている。 MC-EIUは多くのヒューマン・コンピュータ・インタフェースのテクノロジーを実現している。 しかし、アノテーション、モダリティ、言語の多様性、アクセシビリティの観点からは、利用可能なデータセットがない。 本研究では,7つの感情カテゴリ,9つの意図カテゴリ,3つのモダリティ,すなわちテキスト,音響,視覚的内容,および2つの言語,すなわち英語とマンダリンを特徴とするMC-EIUデータセットを提案する。 さらに、フリーアクセスのために完全にオープンソースである。 我々の知る限り、MC-EIUはマルチモーダル会話のための包括的でリッチな感情と意図的共同理解データセットとしては初めてのものである。 データセットの公開とともに、マルチモーダル会話における感情と意図の深い相関をモデル化し、参照システムとして感情と意図の相互作用(EI$^2$)ネットワークを開発する。 比較実験とアブレーション実験により,提案したEI$^2$法のMC-EIUデータセットに対する有効性を示す。 データセットとコードは、https://github.com/MC-EIU/MC-EIUで利用可能になる。

関連論文リスト

• Generative Emotion Cause Explanation in Multimodal Conversations [23.39751445330256]
  我々は、新しいタスク textbfMultimodal textbfConversation textbfEmotion textbfCause textbfExplanation (MCECE)を提案する。 マルチモーダル会話シナリオにおいて、ターゲット発話に対する感情的原因を詳細に説明することを目的としている。 FAME-Netという新しいアプローチが提案され、ビデオの表情を通して、視覚データを解析し、感情を正確に解釈するLarge Language Models(LLMs)の力を利用する。
  論文  参考訳（メタデータ） (2024-11-01T09:16:30Z)
• Mamba-Enhanced Text-Audio-Video Alignment Network for Emotion Recognition in Conversations [15.748798247815298]
  本稿では,会話における感情認識のための新しいマンバエンハンステキスト・ビデオアライメントネットワーク(MaTAV)を提案する。 MaTAVは、異なるモダリティ間の整合性を確保するためにユニモーダル機能を整列させ、コンテキストのマルチモーダル情報をよりよくキャプチャするために長い入力シーケンスを処理するという利点がある。
  論文  参考訳（メタデータ） (2024-09-08T23:09:22Z)
• MM-TTS: A Unified Framework for Multimodal, Prompt-Induced Emotional Text-to-Speech Synthesis [70.06396781553191]
  MM-TTS(Multimodal Emotional Text-to-Speech System)は、複数のモーダルからの感情的手がかりを利用して、高表現的で感情的に共鳴する音声を生成する統合フレームワークである。 Emotion Prompt Alignment Module (EP-Align),Emotion Embedding-induced TTS (EMI-TTS),Emotion Embedding-induced TTS (Emotion Embedding-induced TTS) の2つの主要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-04-29T03:19:39Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• VISTANet: VIsual Spoken Textual Additive Net for Interpretable Multimodal Emotion Recognition [21.247650660908484]
  本稿では、VISTANet(Visual Textual Additive Net)というマルチモーダル感情認識システムを提案する。 VISTANetは、早期と後期の融合のハイブリッドを用いて、画像、音声、テキストのモダリティから情報を融合する。 KAAP技術は、特定の感情のクラスを予測するために、各モダリティとそれに対応する特徴の寄与を計算する。
  論文  参考訳（メタデータ） (2022-08-24T11:35:51Z)
• Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss [80.79641247882012]
  マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。 個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。 本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
  論文  参考訳（メタデータ） (2022-07-23T10:11:24Z)
• M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation [1.3864478040954673]
  視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。 マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。 提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
  論文  参考訳（メタデータ） (2022-06-05T14:18:58Z)
• M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database [139.08528216461502]
  マルチモーダルマルチシーンマルチラベル感情対話データセットM3EDを提案する。 M3EDには56の異なるテレビシリーズの990のダイアドの感情対話があり、合計9,082回、24,449発の発声がある。 我々の知る限りでは、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
  論文  参考訳（メタデータ） (2022-05-09T06:52:51Z)
• COSMIC: COmmonSense knowledge for eMotion Identification in Conversations [95.71018134363976]
  我々は,心的状態,出来事,因果関係など,常識の異なる要素を取り入れた新しい枠組みであるCOSMICを提案する。 我々は,COSMICが4つのベンチマークの会話データセット上で,感情認識のための最新の結果を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-06T15:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。