論文の概要: Exposing Weaknesses in Emotion Recognition in Conversations
- arxiv url: http://arxiv.org/abs/2609.05806v1
- Date: Sat, 05 Sep 2026 01:40:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.139486
- Title: Exposing Weaknesses in Emotion Recognition in Conversations
- Title（参考訳）: 会話における感情認識における弱さの表現
- Abstract要約: ゼロショット環境でのLarge Language Models (LLM) を用いた会話(ERC)における感情認識について検討した。
集約されたメトリクスが、体系的な失敗を隠蔽していることが示されます。
LLM-as-Judgeフレームワークを導入し、会話の文脈におけるその妥当性に応じて各感情を独立に評価する。
- 参考スコア（独自算出の注目度）: 3.540702214700106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emotion Recognition in Conversations (ERC) aims to identify speakers' emotions in multi-turn dialogue. Accurate emotion recognition can support a wide range of applications, including empathetic conversational agents, mental health support, and educational technologies. While many recent approaches rely on task-specific fine-tuning, such models may exploit dataset-specific cues. A central yet rarely questioned assumption in ERC is that each utterance can be assigned a single unambiguous emotion label. To investigate this assumption, we study ERC using Large Language Models (LLMs) in a zero-shot setting while incorporating preceding conversational turns as context. We show that aggregate metrics mask systematic failures. Errors concentrate around utterances containing negations, exclamations, and interjections. This pattern is consistent across all evaluated models, suggesting limitations in the benchmarks rather than model-specific weaknesses. A controlled re-annotation study involving four human annotators supports this finding: strong agreement is observed in only 35 percent of cases, with neutral utterances dominating high-agreement instances, while many emotional categories fall into low-agreement regimes. These findings suggest that many apparent model errors reflect genuine annotation ambiguity rather than poor emotion understanding. Standard single-label evaluation is therefore insufficient. To address this limitation, we introduce an LLM-as-Judge framework that evaluates each emotion independently according to its plausibility in the conversational context rather than enforcing a single-label decision.
- Abstract（参考訳）: Emotion Recognition in Conversations (ERC) は,マルチターン対話における話者の感情の識別を目的としている。
正確な感情認識は、共感的会話エージェント、メンタルヘルスサポート、教育技術など、幅広い応用をサポートすることができる。
最近の多くのアプローチはタスク固有の微調整に依存しているが、そのようなモデルはデータセット固有の手がかりを利用するかもしれない。
ERCにおける中心的かつまれに疑問視される前提は、それぞれの発話を1つの曖昧な感情ラベルに割り当てることができることである。
この仮定を考察するために、先行する会話のターンを文脈として組み込んだまま、ゼロショット設定でLarge Language Models (LLMs) を用いてERCを研究する。
集約されたメトリクスが、体系的な失敗を隠蔽していることが示されます。
エラーは、否定、宣言、解釈を含む発話に集中する。
このパターンは、すべての評価されたモデル間で一貫性があり、モデル固有の弱点ではなく、ベンチマークの制限を示唆している。
4つのアノテータを含む制御された再注釈研究は、この発見を支持している: 強い合意は35%のケースでのみ観察され、中性発話は高格のインスタンスを支配し、多くの感情的カテゴリーは低格の体制に該当する。
これらの結果から,多くの明らかなモデル誤差は,感情理解に乏しいというよりも,真のアノテーションの曖昧さを反映していることが示唆された。
そのため、標準のシングルラベル評価は不十分である。
この制限に対処するために、単一ラベル決定を強制するのではなく、会話文脈における各感情の妥当性に応じて独立して評価するLLM-as-Judgeフレームワークを導入する。
関連論文リスト
- AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence [1.7294100412670375]
感情知性(EI)は人間のコミュニケーションの中心であり、評価することがますます重要になっている。
AttuneBenchは200個の真のマルチターンヒューマンモデル会話をベースとしたベンチマークである。
感情認識,行動分類,嗜好予測,判断された応答品質のモデルランキングは,ほぼ独立していることがわかった。
論文 参考訳（メタデータ） (2026-05-20T21:06:05Z) - VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs [54.75016325571445]
音声大言語モデル (LLM) は, 音声の感情認識において, 生成インタフェースを介する大きな可能性を示す。
クローズドセットからオープンテキスト生成へのシフトは、ゼロショット性を導入し、プロンプトに非常に敏感な評価を与える。
本稿では,VoxEmoについて紹介する。VoxEmoは音声LLMのための15言語に35の感情コーパスを含む総合的なSERベンチマークである。
論文 参考訳（メタデータ） (2026-03-09T21:10:34Z) - Emotion Transcription in Conversation: A Benchmark for Capturing Subtle and Complex Emotional States through Natural Language [3.873439892819606]
会話における感情の書き起こし(ETC)という新しいタスクを提案する。
この課題は、会話の文脈における話者の感情状態を正確に反映した自然言語記述の生成に焦点を当てる。
本研究では,参加者の自己報告された感情状態に注釈を付したテキストベースの対話を自然言語で記述した日本語データセットを構築した。
論文 参考訳（メタデータ） (2026-03-07T10:14:05Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - Decoding Ambiguous Emotions with Test-Time Scaling in Audio-Language Models [18.059483722792077]
テスト時間スケーリング下でのALMを用いた音声におけるあいまいな感情認識のための最初のベンチマークを紹介する。
本評価では,8つの最先端ALMと5つのTTS戦略を,3つの顕著な音声感情データセットに対して体系的に比較した。
私たちのベンチマークは、より堅牢でコンテキスト対応で感情的にインテリジェントな音声ベースのAIシステムを開発するための基盤を確立します。
論文 参考訳（メタデータ） (2026-02-01T07:41:57Z) - SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。
事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。
11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文 参考訳（メタデータ） (2025-08-04T03:28:04Z) - Improving speaker verification robustness with synthetic emotional utterances [14.63248006004598]
話者検証(SV)システムは、特定の話者から発する音声サンプルが発するかどうかを確認するための認証サービスを提供する。
従来のモデルでは、感情的な発話を扱う場合、中立なモデルに比べて高いエラー率を示す。
この問題は、ラベル付き感情音声データの利用が限られていることに起因している。
本稿では,CycleGANフレームワークを用いたデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2024-11-30T02:18:26Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-04-26T07:30:32Z) - Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。
従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。
本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2024-04-15T17:56:39Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳（メタデータ） (2023-09-13T12:58:09Z) - Supervised Prototypical Contrastive Learning for Emotion Recognition in
Conversation [25.108385802645163]
本稿では,感情認識タスクにおけるSPCL(Supervised Prototypeal Contrastive Learning)の損失を提案する。
授業間距離に基づく難易度測定関数を設計し、極端なサンプルの影響を軽減するためのカリキュラム学習を導入する。
3つの広く使用されているベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2022-10-17T03:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。