論文の概要: SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark
- arxiv url: http://arxiv.org/abs/2607.18109v1
- Date: Mon, 20 Jul 2026 16:08:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.699906
- Title: SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark
- Title（参考訳）: SpEmoC: バランスの取れた話者セグメントマルチモーダル感情ベンチマーク
- Abstract要約: 英語映画3100本とテレビシリーズの生クリップ306,544本からなるSpeEmoC a Speech segment Emotion for Conversationsを紹介した。
それらから3万の高品質で、クラスバランスの取れたクリップがキュレーションされ、7つの感情に注釈付けされた視覚、音声、テキストのモダリティが同期される。
SpEmoCは厳密な映画とシリーズレベルの分割を使用して、分割セット間のコンテンツオーバーラップを防止し、モデルの一般化をより信頼性の高い評価を可能にする。
- 参考スコア（独自算出の注目度）: 17.86278976364124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding human emotions in spoken conversations is a key challenge in affective computing, with applications in empathetic AI, human computer interaction, and mental health monitoring. However, existing datasets vary in scale, emotion distribution, modality alignment, and data partitioning strategies, which can influence reliable cross-dataset generalization and minority-emotion modeling. We introduce SpEmoC a Speaking segment Emotion for Conversations comprising 306,544 raw clips from 3,100 English language movies and TV series. From these, 30,000 high quality, class balanced clips are curated, featuring synchronized visual, audio, and textual modalities annotated for seven emotions through a hybrid pipeline that integrates pretrained models with human validation. SpEmoC uses strict movie- and series-level splits to prevent content overlap between split sets, allowing more reliable evaluation of model generalization. The dataset also maintains a near-balanced distribution across seven emotions, including minority classes such as Fear and Disgust, which supports more balanced learning across categories. Extensive experiments, including in-domain benchmarking, cross-dataset transfer, low-data training, class-imbalance analysis, and modality transfer show that balanced data and careful splitting lead to more stable performance across emotions when models are evaluated on other datasets. These results highlight the importance of dataset design for robust and transferable multimodal emotion recognition.
- Abstract（参考訳）: 音声会話における人間の感情を理解することは、感情コンピューティングにおいて重要な課題であり、共感型AI、人間のコンピュータインタラクション、メンタルヘルスモニタリングに応用されている。
しかし、既存のデータセットはスケール、感情分布、モダリティアライメント、データパーティショニング戦略によって異なり、信頼性の高いクロスデータセットの一般化やマイノリティー感情モデリングに影響を及ぼす可能性がある。
英語映画3100本とテレビシリーズの生クリップ306,544本からなるSpEmoC a Speech segment Emotion for Conversationsを紹介した。
これらから、3万の高品質、クラスのバランスの取れたクリップがキュレーションされ、事前訓練されたモデルと人間の検証を統合するハイブリッドパイプラインを通じて、7つの感情に注釈付けされた視覚、音声、テキストのモダリティが同期される。
SpEmoCは厳密な映画とシリーズレベルの分割を使用して、分割セット間のコンテンツオーバーラップを防止し、モデルの一般化をより信頼性の高い評価を可能にする。
データセットはまた、FearやDisgustなどのマイノリティクラスを含む7つの感情のほぼバランスの取れた分布を維持しており、カテゴリ間のバランスの取れた学習をサポートする。
ドメイン内ベンチマーク、クロスデータセット転送、低データトレーニング、クラス不均衡分析、モダリティ転送といった大規模な実験は、バランスのとれたデータと慎重に分割することで、モデルが他のデータセットで評価された場合、感情間でのより安定したパフォーマンスをもたらすことを示している。
これらの結果は、頑健で伝達可能なマルチモーダル感情認識のためのデータセット設計の重要性を強調している。
関連論文リスト
- TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。
TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。
TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
論文 参考訳（メタデータ） (2025-08-19T08:31:15Z) - Emo Pillars: Knowledge Distillation to Support Fine-Grained Context-Aware and Context-Less Emotion Classification [56.974545305472304]
感情分析のためのほとんどのデータセットは、意見が表現された文脈を欠き、感情理解に不可欠であり、主にいくつかの感情カテゴリーによって制限される。
我々はLLMベースのデータ合成パイプラインを設計し、よりアクセスしやすい軽量BERT型エンコーダモデルのトレーニング例を生成するために、大規模モデルMistral-7bを利用する。
Emo Pillarsモデルは、GoEmotions、ISEAR、IEMOCAP、EmoContextといった特定のタスクに調整された場合、新しいドメインに対して高い適応性を示し、最初の3つでSOTAのパフォーマンスに達した。
論文 参考訳（メタデータ） (2025-04-23T16:23:17Z) - Robust Facial Reactions Generation: An Emotion-Aware Framework with Modality Compensation [27.2792182180834]
感情認識型モダリティ補償(EMC)フレームワークを提案する。
我々のフレームワークは、欠落したモダリティデータに直面するときのレジリエンスを保証する。
Emotion-Aware Attention (EA)モジュールを通じて、より適切な感情認識反応を生成する。
論文 参考訳（メタデータ） (2024-07-22T17:00:02Z) - AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in
Group Conversations [39.79734528362605]
マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。
AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
論文 参考訳（メタデータ） (2024-01-26T19:17:05Z) - Deep Imbalanced Learning for Multimodal Emotion Recognition in
Conversations [15.705757672984662]
会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。
MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。
生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。
我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
論文 参考訳（メタデータ） (2023-12-11T12:35:17Z) - The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked
Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。
MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
論文 参考訳（メタデータ） (2023-05-05T08:53:57Z) - EmotionIC: emotional inertia and contagion-driven dependency modeling for emotion recognition in conversation [34.24557248359872]
本稿では,ERCタスクに対する感情的慣性・伝染型依存性モデリング手法(EmotionIC)を提案する。
EmotionICは3つの主要コンポーネント、すなわちIDマスク付きマルチヘッド注意(IMMHA)、対話型Gated Recurrent Unit(DiaGRU)、Skip-chain Conditional Random Field(SkipCRF)から構成されている。
実験結果から,提案手法は4つのベンチマークデータセットにおいて,最先端のモデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-03-20T13:58:35Z) - A Hierarchical Regression Chain Framework for Affective Vocal Burst
Recognition [72.36055502078193]
本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。
データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。
提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
論文 参考訳（メタデータ） (2023-03-14T16:08:45Z) - BEAT: A Large-Scale Semantic and Emotional Multi-Modal Dataset for
Conversational Gestures Synthesis [9.95713767110021]
Body-Expression-Audio-Textデータセットには、76時間、高品質、マルチモーダルなデータがあり、8つの異なる感情と4つの異なる言語で話す30人の話者から取得されている。
BEATは人間のジェスチャーを調べるための最大のモーションキャプチャーデータセットである。
論文 参考訳（メタデータ） (2022-03-10T11:19:52Z) - Audio-Visual Fusion Layers for Event Type Aware Video Recognition [86.22811405685681]
マルチタスク学習方式において,個別のイベント固有のレイヤによるマルチセンサ統合問題に対処する新しいモデルを提案する。
我々のネットワークは単一のラベルで表現されているが、与えられたビデオを表現するために、さらに真のマルチラベルを出力できる。
論文 参考訳（メタデータ） (2022-02-12T02:56:22Z) - Affect2MM: Affective Analysis of Multimedia Content Using Emotion
Causality [84.69595956853908]
本稿では,マルチメディアコンテンツを対象とした時系列感情予測学習手法であるAffect2MMを提案する。
私たちの目標は、現実の人間中心の状況や行動でキャラクターが描く様々な感情を自動的に捉えることです。
論文 参考訳（メタデータ） (2021-03-11T09:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。