論文の概要: M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database
- arxiv url: http://arxiv.org/abs/2205.10237v1
- Date: Mon, 9 May 2022 06:52:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 20:36:40.971150
- Title: M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database
- Title（参考訳）: M3ED:マルチモーダルマルチシーンマルチラベル感情対話データベース
- Authors: Jinming Zhao, Tenggan Zhang, Jingwen Hu, Yuchen Liu, Qin Jin, Xinchao
Wang, Haizhou Li
- Abstract要約: マルチモーダルマルチシーンマルチラベル感情対話データセットM3EDを提案する。
M3EDには56の異なるテレビシリーズの990のダイアドの感情対話があり、合計9,082回、24,449発の発声がある。
我々の知る限りでは、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
- 参考スコア（独自算出の注目度）: 139.08528216461502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emotional state of a speaker can be influenced by many different factors
in dialogues, such as dialogue scene, dialogue topic, and interlocutor
stimulus. The currently available data resources to support such multimodal
affective analysis in dialogues are however limited in scale and diversity. In
this work, we propose a Multi-modal Multi-scene Multi-label Emotional Dialogue
dataset, M3ED, which contains 990 dyadic emotional dialogues from 56 different
TV series, a total of 9,082 turns and 24,449 utterances. M3 ED is annotated
with 7 emotion categories (happy, surprise, sad, disgust, anger, fear, and
neutral) at utterance level, and encompasses acoustic, visual, and textual
modalities. To the best of our knowledge, M3ED is the first multimodal
emotional dialogue dataset in Chinese. It is valuable for cross-culture emotion
analysis and recognition. We apply several state-of-the-art methods on the M3ED
dataset to verify the validity and quality of the dataset. We also propose a
general Multimodal Dialogue-aware Interaction framework, MDI, to model the
dialogue context for emotion recognition, which achieves comparable performance
to the state-of-the-art methods on the M3ED. The full dataset and codes are
available.
- Abstract（参考訳）: 話者の感情状態は、対話シーン、対話トピック、対話者間の刺激など、対話における様々な要因に影響される可能性がある。
しかし、対話におけるマルチモーダルな感情分析をサポートするために現在利用可能なデータリソースは、規模と多様性に制限がある。
本研究では,56種類のテレビシリーズから990種類の感情対話,9,082回転,24,449発の音声を含むマルチモーダルマルチステージマルチラベル感情対話データセットM3EDを提案する。
M3 EDは7つの感情カテゴリー(幸福、驚き、悲しみ、嫌悪、怒り、恐怖、中立)を発話レベルでアノテートし、音響的、視覚的、テキスト的モダリティを包含する。
我々の知る限り、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
文化横断的な感情分析や認識に有用である。
M3EDデータセットにいくつかの最先端手法を適用し、データセットの有効性と品質を検証する。
また、感情認識のための対話コンテキストをモデル化する汎用マルチモーダル対話対応インタラクションフレームワークであるMDIを提案し、M3EDの最先端手法に匹敵する性能を実現する。
完全なデータセットとコードは利用可能だ。
関連論文リスト
- Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset [74.74686464187474]
Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU)は、マルチモーダルな会話履歴に現れる意味情報をデコードすることを目的としている。
MC-EIUは多くのヒューマン・コンピュータ・インタフェースのテクノロジーを実現している。
MC-EIUデータセットは,7つの感情カテゴリー,9つの意図カテゴリ,3つのモダリティ,すなわちテキスト,音響,視覚的内容,および英語とマンダリンの2つの言語を特徴とする。
論文 参考訳（メタデータ） (2024-07-03T01:56:00Z) - Which One Are You Referring To? Multimodal Object Identification in
Situated Dialogue [50.279206765971125]
本稿では,会話や状況から多モーダル入力を解釈する3つの手法について検討する。
最適手法であるシーン対話アライメントは,SIMMC 2.1ベースラインと比較して20%F1スコアで性能を向上する。
論文 参考訳（メタデータ） (2023-02-28T15:45:20Z) - InterMulti:Multi-view Multimodal Interactions with Text-dominated
Hierarchical High-order Fusion for Emotion Analysis [10.048903012988882]
異なる視点から複雑なマルチモーダルインタラクションを捉えるためのマルチモーダル感情分析フレームワークであるInterMultiを提案する。
提案フレームワークは,異なるモードの信号を3種類のマルチモーダル相互作用表現に分解する。
THHFモジュールは上記の3種類の表現を包括的マルチモーダル相互作用表現に合理的に統合する。
論文 参考訳（メタデータ） (2022-12-20T07:02:32Z) - CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset
for Conversational AI [48.67259855309959]
会話型AIのための既存のデータセットのほとんどは、人間の個性や感情を無視している。
CPEDは,中国における大規模パーソナライズされた感情対話データセットである。
CPEDには40のテレビ番組から392人の話者の12K以上の対話が含まれている。
論文 参考訳（メタデータ） (2022-05-29T17:45:12Z) - EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in
Hindi for Emotion Recognition in Dialogues [44.79509115642278]
我々はHindiにEmoInHindiという大きな会話データセットを作成し、会話におけるマルチラベルの感情と強度の認識を可能にした。
我々は、精神保健と犯罪被害者の法的カウンセリングのために、ウィザード・オブ・オズの方法でデータセットを作成します。
論文 参考訳（メタデータ） (2022-05-27T11:23:50Z) - MSCTD: A Multimodal Sentiment Chat Translation Dataset [66.81525961469494]
マルチモーダルチャット翻訳(MCT)という新しいタスクを導入する。
MCTは、関連する対話履歴と視覚的コンテキストの助けを借りて、より正確な翻訳を生成することを目的としている。
本研究は,マルチモーダルチャット翻訳とマルチモーダル対話感情分析の両方の研究を容易にする。
論文 参考訳（メタデータ） (2022-02-28T09:40:46Z) - EmoWOZ: A Large-Scale Corpus and Labelling Scheme for Emotion in
Task-Oriented Dialogue Systems [3.3010169113961325]
EmoWOZはタスク指向対話の大規模手動感情注釈コーパスである。
11K以上の対話と83K以上の感情アノテーションを含む。
本稿では,タスク指向対話に適した新しい感情ラベリング手法を提案する。
論文 参考訳（メタデータ） (2021-09-10T15:00:01Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳（メタデータ） (2020-05-27T02:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。