論文の概要: EmoS: A High-Fidelity Multimodal Benchmark for Fine-grained Streaming Emotional Understanding
- arxiv url: http://arxiv.org/abs/2605.08847v1
- Date: Sat, 09 May 2026 10:01:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.928032
- Title: EmoS: A High-Fidelity Multimodal Benchmark for Fine-grained Streaming Emotional Understanding
- Title(参考訳): EmoS: 微粒なストリーミング感情理解のための高忠実度マルチモーダルベンチマーク
- Abstract要約: 感情認識のための高忠実度バイリンガルベンチマークであるEmoSを紹介する。
EmoSは厳密にフィルタされた静的スライスと動的なStreaming Monologueサブセットを組み合わせる。
EmoS上の微調整MLLMはゼロショットベースラインよりも顕著に向上することを示す。
- 参考スコア(独自算出の注目度): 26.54641178297744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of today's high-pressure, aging society, the demand for large-scale emotional models capable of providing empathetic support is more critical than ever. However, existing benchmarks fail to simultaneously achieve ecological validity, signal clarity, and reliable fine-grained labeling. We introduce EmoS, a high-fidelity bilingual benchmark designed to resolve the limitations of ecological validity and noise in existing datasets by combining strictly filtered static slices with a dynamic Streaming Monologue subset. Supported by a rigorous dual-layer human annotation pipeline, EmoS provides trusted ground truth that captures continuous emotional evolution. Empirical results show that fine-tuning MLLMs (multimodal large language models) on EmoS yields significant gains over zero-shot baselines, laying the foundation for the training and evaluation of future emotion recognition models and empathy models. The dataset and code are publicly available at https://github.com/NLP2CT/EmoS.
- Abstract(参考訳): 今日の高圧、高齢化社会の文脈では、共感的支援を提供することのできる大規模感情モデルへの需要は、これまで以上に深刻である。
しかし、既存のベンチマークは、生態学的妥当性、信号の明瞭さ、信頼性の高いきめ細かいラベル付けを同時に達成することができない。
EmoSは、厳密にフィルタされた静的スライスと動的ストリーミングモノローグのサブセットを組み合わせることで、既存のデータセットにおける生態的妥当性とノイズの限界を解決するために設計された高忠実なバイリンガルベンチマークである。
EmoSは厳格なデュアルレイヤーの人間のアノテーションパイプラインでサポートされており、信頼された真実を提供し、継続的な感情的な進化を捉えている。
EmoS上での微調整MLLM(multimodal large language model)は、ゼロショットベースラインよりも大幅に向上し、将来の感情認識モデルと共感モデルのトレーニングと評価の基礎を築いた。
データセットとコードはhttps://github.com/NLP2CT/EmoS.comで公開されている。
関連論文リスト
- EmoTrans: A Benchmark for Understanding, Reasoning, and Predicting Emotion Transitions in Multimodal LLMs [22.306059796734772]
マルチモーダルビデオにおける感情動態理解のベンチマークであるEmoTransを提案する。
EmoTransには、注意深く収集され、手動で注釈付けされたビデオクリップが1000本含まれており、12の現実世界のシナリオをカバーしている。
我々はEmoTrans上で18種類の最先端MLLMの総合的な評価を行い,2つの主な知見を得た。
論文 参考訳(メタデータ) (2026-04-25T15:10:25Z) - Anchoring Emotions in Text: Robust Multimodal Fusion for Mimicry Intensity Estimation [19.86687369529118]
第10回ABAWコンペティション用に設計された新しいマルチモーダルフレームワークTAEMI(Text-Anchored Emotional Mimicry Intensity Estimation)を提案する。
連続的な視覚信号と音響信号が過渡的環境騒音の影響を受けやすいという観察により,従来の対称核融合パラダイムを破ることができた。
本フレームワークは,6つの連続的感情次元におけるピアソン相関係数の最先端化を実現し,既存のベースライン法を著しく上回っている。
論文 参考訳(メタデータ) (2026-03-16T08:37:37Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳(メタデータ) (2026-02-13T08:33:37Z) - Emotion-LLaMAv2 and MMEVerse: A New Framework and Benchmark for Multimodal Emotion Understanding [45.13650362585136]
Emotion-LLaMAv2 と MMEVerse のベンチマークを行い、感情認識と推論のための標準化された評価設定とともにエンドツーエンドのパイプラインを構築した。
エンドツーエンドのマルチビューエンコーダは、外部顔検出を排除し、よりリッチな空間的および時間的マルチビュートークンを介して、ニュアンス化された感情的手がかりをキャプチャする。
LLaMA2バックボーン内における認識と認識のカリキュラムのチューニングスキームは、感情認識と自由形式の感情推論を統一する。
論文 参考訳(メタデータ) (2026-01-23T05:02:43Z) - E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。
ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。
7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2026-01-11T13:21:20Z) - MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。
MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。
マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
論文 参考訳(メタデータ) (2025-08-11T03:14:55Z) - Emo Pillars: Knowledge Distillation to Support Fine-Grained Context-Aware and Context-Less Emotion Classification [56.974545305472304]
感情分析のためのほとんどのデータセットは、意見が表現された文脈を欠き、感情理解に不可欠であり、主にいくつかの感情カテゴリーによって制限される。
我々はLLMベースのデータ合成パイプラインを設計し、よりアクセスしやすい軽量BERT型エンコーダモデルのトレーニング例を生成するために、大規模モデルMistral-7bを利用する。
Emo Pillarsモデルは、GoEmotions、ISEAR、IEMOCAP、EmoContextといった特定のタスクに調整された場合、新しいドメインに対して高い適応性を示し、最初の3つでSOTAのパフォーマンスに達した。
論文 参考訳(メタデータ) (2025-04-23T16:23:17Z) - EmoBench-M: Benchmarking Emotional Intelligence for Multimodal Large Language Models [36.18925551835687]
EmoBench-Mは、マルチモーダル大言語モデル(MLLM)の感情知能(EI)能力を評価するために設計された新しいベンチマークである。
EmoBench-M上でのオープンソースとクローズドソース両方のMLLMの評価は、彼らと人間の間に大きなパフォーマンスギャップがあることを示している。
論文 参考訳(メタデータ) (2025-02-06T18:13:35Z) - EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。
しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。
EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
論文 参考訳(メタデータ) (2024-06-24T08:33:02Z) - EmoBench: Evaluating the Emotional Intelligence of Large Language Models [73.60839120040887]
EmoBenchは、確立された心理学理論に基づいて、マシン感情知能(EI)の包括的な定義を提案するベンチマークである。
EmoBenchには、英語と中国語で400の手作りの質問が含まれている。
以上の結果から,既存の大規模言語モデルのEIと平均的な人間の間には,かなりのギャップがみられ,今後の研究に向けての有望な方向性が浮かび上がっている。
論文 参考訳(メタデータ) (2024-02-19T11:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。