論文の概要: Mind the Divergence: Divergence-Guided Reliability-Aware Fusion and Adaptive LLM Prompting for Conversational Emotion Recognition
- arxiv url: http://arxiv.org/abs/2611.08860v1
- Date: Fri, 06 Nov 2026 01:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.76795
- Title: Mind the Divergence: Divergence-Guided Reliability-Aware Fusion and Adaptive LLM Prompting for Conversational Emotion Recognition
- Title(参考訳): 多様性を意識する: 多様性を指導する信頼-会話感情認識のための融合と適応LDMプロンプト
- Abstract要約: モーダル間予測の不一致を定量化する分散中心のフレームワークであるMiD-ERCを提案する。
IEMOCAPとMELDの実験は、MiD-ERCが最先端のパフォーマンスを達成することを示した。
- 参考スコア(独自算出の注目度): 18.93767335309627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal emotion recognition in conversations (MERC) integrates textual, acoustic, and visual cues to identify utterance-level emotions. However, existing approaches generally do not explicitly adapt multimodal processing to the degree of inter-modal predictive disagreement. In real conversations, semantic incongruity, concealed emotion, noisy observations, and ambiguity can affect modality-specific emotional evidence differently, while the reliability of individual modalities varies across samples. Rather than identifying each source of inconsistency separately, we model their common consequence for emotion recognition as predictive disagreement among unimodal emotion distributions over the same emotion-label set. Such disagreement makes indiscriminate fusion prone to propagating unreliable or competing evidence. Inspired by the Brunswik Lens Model, we propose MiD-ERC, a divergence-centric framework that quantifies inter-modal predictive disagreement using a normalized divergence score and estimates sample-specific modality reliability. MiD-ERC uses these signals to coordinate divergence-guided cross-modal gating, divergence-modulated reliability weighting, and divergence-conditioned adaptive LLM prompting. The framework is trained end-to-end using only standard emotion annotations, without requiring additional conflict labels, auxiliary data construction, or external retrieval modules. Experiments on IEMOCAP and MELD demonstrate that MiD-ERC achieves state-of-the-art performance, with particularly pronounced improvements on high-divergence samples.
- Abstract(参考訳): 会話におけるマルチモーダル感情認識(MERC)は、テキスト、音響、視覚的手がかりを統合し、発話レベルの感情を識別する。
しかし、既存のアプローチは一般的に、モーダル間予測不一致の程度にマルチモーダル処理を明示的に適応しない。
実際の会話では、意味的不一致、隠された感情、騒々しい観察、曖昧さはモダリティ固有の感情的証拠に異なる影響を与えるが、個々のモダリティの信頼性はサンプルによって異なる。
それぞれの不整合源を別々に識別するのではなく, 感情認識における共通の結果を, 同一の感情-ラベル集合上の不動感情分布間の予測的不一致としてモデル化する。
このような意見の相違は、信頼できない証拠や競合する証拠を伝播させるために無差別な融合を引き起こす。
ブラウンスウィックレンズモデルにインスパイアされたMiD-ERCは,正規化分散スコアを用いてモーダル間不一致を定量化し,サンプル特異なモダリティの信頼性を推定する分散中心のフレームワークである。
MiD-ERCはこれらの信号を用いて、分散誘導のクロスモーダルゲーティング、分散変調の信頼性重み付け、および分散条件の適応LDMプロンプトを調整する。
このフレームワークは、コンフリクトラベル、補助データ構築、外部検索モジュールを必要とせずに、標準の感情アノテーションのみを使用してエンドツーエンドにトレーニングされている。
IEMOCAPとMELDの実験では、MiD-ERCは最先端のパフォーマンスを実現しており、特に高分散サンプルの改善が顕著である。
関連論文リスト
- EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation [51.04910642896281]
会話におけるマルチモーダル感情認識(MERC)は、対話に多モーダル情報と文脈情報を統合することで正確な予測を行う。
現在のMERCアプローチは、情動シフトにおける文脈的感情的慣性の影響を見落とし、準最適パフォーマンスをもたらす。
本研究では, 時間的ウィンドウ内に慣性の影響のあるサンプルを構築することで, コントラスト学習モジュール (EII-SCL) を提案する。
論文 参考訳(メタデータ) (2026-07-19T18:09:54Z) - EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation [58.055014746373054]
マルチモーダル感情認識のための明確な不確実性監視フレームワークであるEmoEUSを提案する。
EmoEUSは、学習された分散推定を用いてモダリティを動的に重み付けすることで、不確実性を考慮したマルチモーダル融合を行う。
IEMOCAPとMELDの実験は、EmoEUSが最先端の手法を一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-07-19T18:09:22Z) - SURE: Synergistic Uncertainty-aware Reasoning for Multimodal Emotion Recognition in Conversations [15.80542007124167]
会話におけるマルチモーダル感情認識(MERC)は、ノイズに頑健であり、文脈的推論をモデル化しながら、マルチモーダル信号を統合する必要がある。
我々は、堅牢性と文脈モデリングを改善するMERCのためのSURE(Synergistic Uncertainty-aware Reasoning)を提案する。
論文 参考訳(メタデータ) (2026-04-02T11:32:15Z) - Follow the Clues, Frame the Truth: Hybrid-evidential Deductive Reasoning in Open-Vocabulary Multimodal Emotion Recognition [17.899439937763006]
Open-Vocabulary Multimodal Emotion Recognition (OV-MER)は,同種のマルチモーダル手がかりのあいまいさにより本質的に困難である。
本稿では,推論をPropose-Verify-Decideプロトコルとして形式化するハイブリッド・エビデンシャル・デダクティブ・推論アーキテクチャHyDRAを紹介する。
論文 参考訳(メタデータ) (2026-03-17T12:49:51Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳(メタデータ) (2026-02-13T08:33:37Z) - Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier [53.55996102181836]
本稿では,感情関係検証器 (ERV) と説明リワードを提案する。
本手法は,対象感情と明確に一致した推論をモデルに導出する。
我々のアプローチは、説明と予測の整合性を高めるだけでなく、MLLMが感情的に一貫性があり、信頼できる対話を実現するのにも役立ちます。
論文 参考訳(メタデータ) (2025-10-27T16:40:17Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - COLD Fusion: Calibrated and Ordinal Latent Distribution Fusion for
Uncertainty-Aware Multimodal Emotion Recognition [14.963637194500029]
本稿では、感情予測に対するモダリティワイドな不確実性を定量化する不確実性認識型オーディオ視覚融合手法を提案する。
音声視覚潜在分布の分散ベクトルに正規ランク付け制約を課す。
AVEC 2019 CESとIEMOCAPの2つの感情認識コーパスについて評価したところ、音声視覚的感情認識は、よく校正され、よくランク付けされた潜伏不確実性対策の恩恵を受ける可能性が示唆された。
論文 参考訳(メタデータ) (2022-06-12T20:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。