論文の概要: When Seekers Are Hard to Help: Evaluating Emotional Support Dialogue Systems in Worst-Case Interactions

• arxiv url: http://arxiv.org/abs/2605.28228v1
• Date: Wed, 27 May 2026 09:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.943931
• Title: When Seekers Are Hard to Help: Evaluating Emotional Support Dialogue Systems in Worst-Case Interactions
• Title（参考訳）: シーカーが役に立たないとき--最悪の場面における感情支援対話システムの評価
• Authors: Jiajie Yang, Yangchun Li, Guanyi Chen, Rui Fan, Xin Bai, Tingting He,
• Abstract要約: 本研究では,低エンゲージメント,抵抗性,限定的な自己開示,感情的ボラティリティ,厳格な否定的解釈などの理由から,最悪の場合のESDS評価について検討した。 本稿では,LLMに基づく最悪事例探索シミュレータと,Deep Emotional Understanding, Guided Exploration, Balanced Emotional Support,Authentic and Grounded Supportという,最悪の事例指向の4つの指標からなる最悪の事例評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.307363643479201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotional Support Dialogue Systems (ESDSes) are increasingly evaluated and trained with LLM-simulated seekers. However, such simulated seekers often behave as cooperative, average-case users who disclose clearly, respond constructively, and accept support within a few turns. This can lead to overly optimistic evaluation and obscure whether ESDSes can handle difficult help-seeking interactions. In this work, we study ESDS evaluation under worst-case interactions, where seekers are hard to help due to low engagement, resistance, limited self-disclosure, emotional volatility, or rigid negative interpretations. We first conduct an expert simulation study with eight experienced counselling professionals, who simulate difficult seekers, interact with existing Chinese ESDSes, provide scale ratings, and participate in semi-structured interviews. Based on this study, we derive worst-case seeker behaviours and identify key limitations of current systems. We then propose a worst-case evaluation framework consisting of an LLM-based worst-case seeker simulator and four worst-case-oriented metrics: Deep Emotional Understanding, Guided Exploration, Balanced Emotional Support, and Authentic and Grounded Support. Evaluating 17 systems, we find that nearly all models suffer substantial performance drops under worst-case interactions. Large general-purpose LLMs are generally more robust than specialised ESDSes, but even the strongest models struggle to sustain engagement and improve seekers' emotional states. Finally, we show that worst-case simulation can also generate useful training data, improving the robustness of smaller models.
• Abstract（参考訳）: 感情支援対話システム (ESDS) は, LLM を模擬した探究者によってますます評価され, 訓練されている。 しかし、そのような模擬探究者は、しばしば協力的で平均的なユーザーとして振舞い、明確に開示し、建設的に反応し、数回以内に支援を受け入れる。 これは、過度に楽観的な評価をもたらし、ESDSが困難なヘルプ検索インタラクションを処理できるかどうかを曖昧にする可能性がある。 本研究では,低エンゲージメント,抵抗性,限定的な自己開示,感情的ボラティリティ,厳格な否定的解釈などにより,探索者が支援し難い状況下でのESDS評価について検討する。 まず,難解な探索者をシミュレートし,既存の中国のESDSと対話し,スケール評価を行い,半構造化面接に参加する8人のカウンセリング専門家を対象に,専門家によるシミュレーション研究を行った。 本研究は, 最短事例探索行動の導出と, 現行システムにおける鍵となる限界を同定するものである。 次に,LLMに基づく最悪事例探索シミュレータと,Deep Emotional Understanding, Guided Exploration, Balanced Emotional Support,Authentic and Grounded Supportという,最悪の事例指向の4つの指標からなる最悪の事例評価フレームワークを提案する。 17のシステムを評価すると、ほぼ全てのモデルが最悪の場合の相互作用で大幅な性能低下を被っていることが分かる。 大規模な汎用LSMは、一般的に特殊ESDSよりも堅牢であるが、最強のモデルでさえ、エンゲージメントを維持し、探求者の感情状態を改善するのに苦労している。 最後に、最悪ケースシミュレーションにより、より小さなモデルのロバスト性を向上し、有用なトレーニングデータも生成できることを示す。

関連論文リスト

• Emotional Support Evaluation Framework via Controllable and Diverse Seeker Simulator [12.68911492082634]
  探索行動の基盤となる9つの心理的特徴と言語的特徴によって駆動される制御可能な探索シミュレータを提案する。 本シミュレータは,既存手法と比較して,プロファイルの順応性や行動の多様性に優れる。
  論文  参考訳（メタデータ） (2026-01-12T16:30:38Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs [21.192619293355502]
  大きな言語モデル(LLM)は、明確で完全なステートメントで問題を解決するのに優れています。 このベンチマークは、複雑でインタラクティブなシナリオを扱う上で、現在のLLMの長所と短所に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-08-13T19:14:45Z)
• EmoDebt: Bayesian-Optimized Emotional Intelligence for Strategic Agent-to-Agent Debt Recovery [65.30120701878582]
  大規模言語モデル(LLM)エージェントは、負債収集のような感情に敏感なドメインの悪用に対して脆弱である。 EmoDebtは、ネゴシエーションにおける感情を表現するモデルの能力を、シーケンシャルな意思決定問題として再設計する感情インテリジェンスエンジンである。 EmoDebtは重要な戦略的堅牢性を実現し、非適応性と感情に依存しないベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-03-27T01:41:34Z)
• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• FEEL: A Framework for Evaluating Emotional Support Capability with Large Language Models [14.894922829587841]
  感情支援会話(Emotional Support Conversation、ESC)は、感情的なプレッシャーを軽減できる典型的な対話である。 現在の非芸術的方法論は、感情的支援能力を効果的に評価する上で困難に直面している。 本稿では,感情支援能力を評価するために,Large Language Models (LLMs) を用いた新しいモデルFEELを提案する。
  論文  参考訳（メタデータ） (2024-03-23T03:32:26Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。