論文の概要: EmotionDialogCN: A Spontaneous Multimodal Dataset for Mandarin Emotional Dialogue

• arxiv url: http://arxiv.org/abs/2608.20905v1
• Date: Fri, 21 Aug 2026 09:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.487029
• Title: EmotionDialogCN: A Spontaneous Multimodal Dataset for Mandarin Emotional Dialogue
• Title（参考訳）: EmotionDialogCN:マンダリン感情対話のための自発的マルチモーダルデータセット
• Abstract要約: EmotionDialogCNは、顔と顔のコミュニケーションを正確に捉えるために設計された大規模オーディオヴィジュアル・感情データセットである。 21,880の対話セッションがあり、119人のプロの俳優が毎日20のシナリオで演じ、400時間以上の録音を含む18の感情カテゴリーをカバーしている。
• 参考スコア（独自算出の注目度）: 41.73960078407116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face-to-face audiovisual interaction is central to human communication, conveying rich emotional and social cues. However, existing multimodal dialogue datasets remain limited by inadequate emotion annotations, poor emotional diversity, and small scale. We introduce EmotionDialogCN, a large-scale audiovisual-emotional dataset designed to capture authentic face-to-face communication. It contains 21,880 dialogue sessions performed by 119 professional actors across 20 everyday scenarios, covering 18 emotion categories with over 400 hours of recordings, the largest and most comprehensive dataset of its kind. A novel data collection framework minimizes equipment interference, enabling natural and nuanced emotional expressions. EmotionDialogCN achieves an emotion distribution deviation of 0.64 from real human emotion statistics (versus 5.65 for prior datasets) and consistent subject framing (52-59% frame occupancy). Together, these properties translate into stable unimodal and multimodal performance across acoustic, lexical, and visual modalities, with fusion results further underscoring strong multimodal alignment and cross-modal complementarity.
• Abstract（参考訳）: 対面の視覚的相互作用は人間のコミュニケーションの中心であり、豊かな感情と社会的手がかりを伝達する。 しかし、既存のマルチモーダル対話データセットは、不適切な感情アノテーション、弱い感情の多様性、小さなスケールによって制限されている。 EmotionDialogCNは、顔と顔のコミュニケーションを正確に捉えるために設計された大規模オーディオヴィジュアル・感情データセットである。 このセッションには、毎日20のシナリオで119人のプロアクターが行う21,880の対話セッションが含まれており、400時間以上の録音を含む18の感情カテゴリーをカバーしている。 新たなデータ収集フレームワークは、機器の干渉を最小限に抑え、自然な感情表現とニュアンスのある感情表現を可能にする。 EmotionDialogCNは、実際の人間の感情統計(以前のデータセットでは5.65)と一貫した対象フレーミング(52-59%のフレーム占有)から、感情分布の偏差を0.64とする。 これらの特性は、音響的、語彙的、視覚的モダリティにまたがる安定な単モーダルおよび多モーダルのパフォーマンスに変換され、融合の結果は強い多モーダルアライメントと相互モーダルの相補性をさらに強調する。

関連論文リスト

• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• DeepDialogue: A Multi-Turn Emotionally-Rich Spoken Dialogue Dataset [10.007636884318801]
  DeepDialogueは40,150の高品質なマルチターン対話を含む大規模マルチモーダルデータセットである。 アプローチでは9つの異なる言語モデルを組み合わせて65,600の会話を生成します。 重要な貢献は、40,150の対話すべてに対して、感情一貫性のある音声を合成する、その音声成分である。
  論文  参考訳（メタデータ） (2025-05-26T13:37:10Z)
• UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech [61.989360995528905]
  制御可能な感情的TTSのための離散的感情と次元的感情を統一する普遍的なフレームワークであるUDDETTSを提案する。 このモデルは、次元的感情記述のための解釈可能なArousal-Dominance-Valence(ADV)空間を導入し、離散的な感情ラベルまたは非線形に定量化されたADV値によって駆動される感情制御をサポートする。 実験の結果, UDDETTSは3次元の線形感情制御を実現し, エンドツーエンドの感情音声合成能力に優れていた。
  論文  参考訳（メタデータ） (2025-05-15T12:57:19Z)
• AV-EmoDialog: Chat with Audio-Visual Users Leveraging Emotional Cues [37.96886343501444]
  AV-EmoDialogは,ユーザの音声・視覚入力からの言語情報や非言語情報を利用して,より応答性が高く共感的な対話を生成するための対話システムである。 AV-EmoDialogは、音声と視覚の対話における感情の手がかりを体系的に活用し、音声から音声の内容と感情のトーンを抽出し、視覚からきめ細かい表情を分析し、これらの手がかりを統合し、エンドツーエンドで感情的な反応を生成する。
  論文  参考訳（メタデータ） (2024-12-23T05:24:26Z)
• When Words Smile: Generating Diverse Emotional Facial Expressions from Text [77.1867389815291]
  本稿では,感情動態に着目したエンドツーエンドのテキスト対表現モデルを提案する。 我々のモデルは連続的な潜伏空間における表情の変動を学習し、多様な、流動的で、感情的に一貫性のある表現を生成する。
  論文  参考訳（メタデータ） (2024-12-03T15:39:05Z)
• M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database [139.08528216461502]
  マルチモーダルマルチシーンマルチラベル感情対話データセットM3EDを提案する。 M3EDには56の異なるテレビシリーズの990のダイアドの感情対話があり、合計9,082回、24,449発の発声がある。 我々の知る限りでは、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
  論文  参考訳（メタデータ） (2022-05-09T06:52:51Z)
• Generating Empathetic Responses with a Large Scale Dialog Dataset [0.76146285961466]
  既存のモデルは、応答生成を導くために事前に定義された感情情報を直接組み込むか、応答感情を決定する決定論的ルールを使用する。 6000以上の人的評価インスタンスのベースラインと比較して,マルチターン共感ダイアログモデルの構築方法を示す。
  論文  参考訳（メタデータ） (2021-05-14T13:45:40Z)
• K-EmoCon, a multimodal sensor dataset for continuous emotion recognition in naturalistic conversations [19.350031493515562]
  K-EmoConは、自然主義的会話における継続的な感情の包括的なアノテーションを備えた、新しいデータセットである。 データセットには、オーディオ視覚記録、脳波、周辺生理信号を含むマルチモーダル計測が含まれている。 これには、自己、議論パートナー、外部オブザーバーという3つの利用可能な視点からの感情アノテーションが含まれている。
  論文  参考訳（メタデータ） (2020-05-08T15:51:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。