論文の概要: EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models

• arxiv url: http://arxiv.org/abs/2409.13359v1
• Date: Fri, 20 Sep 2024 09:44:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:40:00.653859
• Title: EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
• Title（参考訳）: EmotionQueen: 大規模言語モデルの共感を評価するベンチマーク
• Authors: Yuyan Chen, Hao Wang, Songzhou Yan, Sijia Liu, Yueze Li, Yi Zhao, Yanghua Xiao,
• Abstract要約: 本稿では,大規模言語モデル(LLM)の感情的インテリジェンスを評価するためのEmotionQueenというフレームワークを提案する。 このフレームワークには、キーイベント認識、混合イベント認識、インプリシット感情認識、意図認識の4つの固有のタスクが含まれている。 実験により、LLMの能力と感情知能の限界について重要な結論が得られた。
• 参考スコア（独自算出の注目度）: 41.699045246349385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotional intelligence in large language models (LLMs) is of great importance in Natural Language Processing. However, the previous research mainly focus on basic sentiment analysis tasks, such as emotion recognition, which is not enough to evaluate LLMs' overall emotional intelligence. Therefore, this paper presents a novel framework named EmotionQueen for evaluating the emotional intelligence of LLMs. The framework includes four distinctive tasks: Key Event Recognition, Mixed Event Recognition, Implicit Emotional Recognition, and Intention Recognition. LLMs are requested to recognize important event or implicit emotions and generate empathetic response. We also design two metrics to evaluate LLMs' capabilities in recognition and response for emotion-related statements. Experiments yield significant conclusions about LLMs' capabilities and limitations in emotion intelligence.
• Abstract（参考訳）: 大規模言語モデル(LLM)における感情知能は自然言語処理において非常に重要である。 しかし,従来の研究は,LLMの全体的感情知能を評価するには不十分な感情認識など,基本的な感情分析タスクに重点を置いていた。 そこで本稿では,LLMの感情的知性を評価するためのEmotionQueenというフレームワークを提案する。 このフレームワークには、キーイベント認識、混合イベント認識、インプリシット感情認識、意図認識の4つの固有のタスクが含まれている。 LLMは重要な出来事や暗黙の感情を認識し、共感的な反応を生成するよう要求される。 また、感情関連文の認識と応答におけるLLMの能力を評価するための2つの指標を設計する。 実験により、LLMの能力と感情知能の限界について重要な結論が得られた。

関連論文リスト

• Retrieving Implicit and Explicit Emotional Events Using Large Language Models [4.245183693179267]
  大規模言語モデル (LLM) は近年,その優れたパフォーマンスから注目されている。 本研究では,LLMのコモンセンスにおける感情検索能力について検討する。
  論文  参考訳（メタデータ） (2024-10-24T19:56:28Z)
• AER-LLM: Ambiguity-aware Emotion Recognition Leveraging Large Language Models [18.482881562645264]
  この研究は、あいまいな感情を認識する上でのLarge Language Models(LLM)の可能性を探究する最初のものである。 我々はゼロショットと少数ショットのプロンプトを設計し、過去の対話を曖昧な感情認識のための文脈情報として組み込んだ。
  論文  参考訳（メタデータ） (2024-09-26T23:25:21Z)
• Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction [31.677026213735363]
  本研究では、音響学、言語学、心理学から感情固有の知識を取り入れた新しいプロンプトを提案する。 LLMトレーニングスキームの有用性を検討するために,文脈認識学習,文脈内学習,指導訓練の実験を行った。 本研究の目的は、感情認識および関連ドメインにおけるLLMの使用を改善することである。
  論文  参考訳（メタデータ） (2024-09-23T21:07:06Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Think out Loud: Emotion Deducing Explanation in Dialogues [57.90554323226896]
  対話における感情推論(Emotion Deducing Explanation in Dialogues)を提案する。 EDENは感情と原因を明確な考え方で認識する。 大規模言語モデル(LLM)が感情や原因をよりよく認識するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-07T08:58:29Z)
• EmoBench: Evaluating the Emotional Intelligence of Large Language Models [73.60839120040887]
  EmoBenchは、確立された心理学理論に基づいて、マシン感情知能(EI)の包括的な定義を提案するベンチマークである。 EmoBenchには、英語と中国語で400の手作りの質問が含まれている。 以上の結果から,既存の大規模言語モデルのEIと平均的な人間の間には,かなりのギャップがみられ,今後の研究に向けての有望な方向性が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-02-19T11:48:09Z)
• Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought [50.13429055093534]
  大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。 本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:42:10Z)
• Emotional Intelligence of Large Language Models [9.834823298632374]
  大規模言語モデル(LLM)は多くの分野において顕著な能力を示している。 しかし、現実世界の応用にとって重要な人間の感情や価値観との整合性は、体系的に評価されていない。 そこで我々は,感情認識,解釈,理解を含むLLMの感情知能(EI)を評価した。
  論文  参考訳（メタデータ） (2023-07-18T07:49:38Z)
• Large Language Models Understand and Can be Enhanced by Emotional Stimuli [53.53886609012119]
  我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。 実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。 EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-07-14T00:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。