論文の概要: E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment
- arxiv url: http://arxiv.org/abs/2608.10796v1
- Date: Tue, 11 Aug 2026 11:05:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.012018
- Title: E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment
- Title（参考訳）: E$^3$mo-Bench:ベイジアンペアワイドアライメントによるマルチモーダル誘発・表現感情理解のためのスケーラブルベンチマーク
- Abstract要約: E$3$mo-Benchは、誘発された感情や表現された感情を理解するためのスケーラブルなベンチマークである。
感情認識、オープンボキャブラリ認識、VAD(valence-arousal-dominance)評価という3ドルの補完的タスクを通じて、誘発された感情理解と表現された感情理解を評価する。
E$3$mo-Scoreは、VAD推定を改善するために、5つのモデル委員会から相補的な判断を集約するトレーニングフリーエージェントである。
- 参考スコア（独自算出の注目度）: 41.40354084103659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding both expressed and evoked emotions is critical for multimodal large language models (MLLMs) to achieve comprehensive affect-aware interactions. However, existing benchmarks typically examine expressed and evoked emotions in isolation or are constrained to coarse-grained and incomplete affective characterizations. To bridge this gap, we introduce E$^3$mo-Bench, a scalable benchmark comprising $12{,}314$ question-answer pairs across $2{,}524$ videos with predefined affective perspectives. It evaluates evoked and expressed emotion understanding via $3$ complementary tasks: emotion perception, open-vocabulary recognition, and valence-arousal-dominance (VAD) assessment. To efficiently scale reliable continuous annotations, we propose Bayesian Pairwise Alignment, which aggregates sparse, low-burden pairwise judgments into anchor-referenced VAD estimates. Furthermore, we develop E$^3$mo-Score, a training-free agent that aggregates complementary judgments from a five-model committee to improve VAD estimation. Extensive experiments validate the effectiveness of our framework and expose a pronounced performance skew between evoked and expressed emotion paradigms. These findings, coupled with MLLMs' persistent deficits in fine-grained recognition and dimensional assessment, chart a clear course for advancing multimodal emotional intelligence.
- Abstract（参考訳）: 表現された感情と誘発された感情の両方を理解することは、マルチモーダルな大規模言語モデル(MLLM)において、包括的な感情認識相互作用を実現するために重要である。
しかし、既存のベンチマークは通常、表現された感情と誘発された感情を分離するか、または粗い粒度と不完全な感情的特徴に制約される。
このギャップを埋めるために、E$^3$mo-Benchというスケーラブルなベンチマークを導入します。
感情認識、オープンボキャブラリ認識、VAD(valence-arousal-dominance)評価という3ドルの補完的タスクを通じて、誘発された感情理解と表現された感情理解を評価する。
信頼度の高い連続アノテーションを効率よくスケールするために,疎結合なペアワイズ判断をアンカー参照VAD推定に集約するベイズペアワイズアライメントを提案する。
さらに,VAD推定を改善するために,5モデル委員会から相補的判断を集約するトレーニングフリーエージェントであるE$^3$mo-Scoreを開発した。
大規模な実験により、我々のフレームワークの有効性を検証し、誘発された感情パラダイムと表現された感情パラダイムの間に顕著なパフォーマンススキューを明らかにする。
これらの知見は, MLLMの細粒度認識および次元評価における持続的欠陥と相まって, マルチモーダル感情知能向上のための明確なコースを図った。
関連論文リスト
- Exposing Weaknesses in Emotion Recognition in Conversations [3.540702214700106]
ゼロショット環境でのLarge Language Models (LLM) を用いた会話(ERC)における感情認識について検討した。
集約されたメトリクスが、体系的な失敗を隠蔽していることが示されます。
LLM-as-Judgeフレームワークを導入し、会話の文脈におけるその妥当性に応じて各感情を独立に評価する。
論文 参考訳（メタデータ） (2026-09-05T01:40:01Z) - EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models [66.28519000191191]
EmoSBenchは、Spoken Language Modelsの最初の包括的なEI評価ベンチマークである。
EmoSは83.8%の精度に達し、人間レベルのパフォーマンスに近づいている。
論文 参考訳（メタデータ） (2026-08-10T06:58:30Z) - MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement [29.753834613342274]
Emotion Statement Decmentment (ESJ) は、出力を識別出力に制限しながら入力空間の表現性を保存するステートメント検証の定式化である。
ESJに最適化された感情指向MLLMであるEmObserverを、複雑なマルチステージレシピで構築する。
これらの結果は、ESJを実践的な定式化として、MVEIを総合的なベンチマークとして、EmObserverをMLLM指向の視覚的感情知性向上のための先進的なベースラインとして確立する。
論文 参考訳（メタデータ） (2026-07-23T08:52:11Z) - Follow the Clues, Frame the Truth: Hybrid-evidential Deductive Reasoning in Open-Vocabulary Multimodal Emotion Recognition [17.899439937763006]
Open-Vocabulary Multimodal Emotion Recognition (OV-MER)は,同種のマルチモーダル手がかりのあいまいさにより本質的に困難である。
本稿では,推論をPropose-Verify-Decideプロトコルとして形式化するハイブリッド・エビデンシャル・デダクティブ・推論アーキテクチャHyDRAを紹介する。
論文 参考訳（メタデータ） (2026-03-17T12:49:51Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - EmoCaliber: Advancing Reliable Visual Emotion Comprehension via Confidence Verbalization and Calibration [8.485394614072028]
Visual EmotionBench (VEC) は、感情の極性や感情のカテゴリをイメージに埋め込まれた感情的な手がかりから推測することを目的としている。
構造化推論を段階的に支援し、信頼を言葉で表現し、信頼表現を校正する3段階のトレーニングフレームワークを導入する。
EmoCaliberは、感情予測と信頼推定の両方において、既存の方法に対する全体的な優位性を実証している。
論文 参考訳（メタデータ） (2025-12-17T15:30:50Z) - TiCAL:Typicality-Based Consistency-Aware Learning for Multimodal Emotion Recognition [31.4260327895046]
マルチモーダル感情認識は、視覚、聴覚、テキストなどの不均一なモダリティを統合することで、人間の感情状態を正確に識別することを目的としている。
既存のアプローチは主に、モデルトレーニングを監督するために統一された感情ラベルに依存しており、しばしば重要な課題であるモーダル間感情衝突を見落としている。
我々は,人間の感情知覚の段階的特性に着想を得た,定型性に基づく連続型マルチモーダル感情認識(TiCAL)を提案する。
論文 参考訳（メタデータ） (2025-11-19T03:49:22Z) - VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。
VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
論文 参考訳（メタデータ） (2025-05-05T03:00:51Z) - MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal
Emotion Recognition [118.73025093045652]
マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。
従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。
提案するMEMOBERTは感情認識性能を大幅に向上させる。
論文 参考訳（メタデータ） (2021-10-27T09:57:00Z) - $M^3$T: Multi-Modal Continuous Valence-Arousal Estimation in the Wild [86.40973759048957]
本報告では、ABAW(Affective Behavior Analysis in-the-wild)チャレンジの価-覚醒的評価トラックへの提案に基づくマルチモーダルマルチタスク(M3$T)アプローチについて述べる。
提案したM3$Tフレームワークでは,ビデオの視覚的特徴とオーディオトラックの音響的特徴の両方を融合させて,有声度と覚醒度を推定する。
ABAW が提供する検証セットに対して,M3$T フレームワークを評価し,ベースライン法を著しく上回る性能を示した。
論文 参考訳（メタデータ） (2020-02-07T18:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。