論文の概要: EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
- arxiv url: http://arxiv.org/abs/2409.13359v1
- Date: Fri, 20 Sep 2024 09:44:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 03:03:00.967509
- Title: EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
- Title(参考訳): EmotionQueen: 大規模言語モデルの共感を評価するベンチマーク
- Authors: Yuyan Chen, Hao Wang, Songzhou Yan, Sijia Liu, Yueze Li, Yi Zhao, Yanghua Xiao,
- Abstract要約: 本稿では,大規模言語モデル(LLM)の感情的インテリジェンスを評価するためのEmotionQueenというフレームワークを提案する。
このフレームワークには、キーイベント認識、混合イベント認識、インプリシット感情認識、意図認識の4つの固有のタスクが含まれている。
実験により、LLMの能力と感情知能の限界について重要な結論が得られた。
- 参考スコア(独自算出の注目度): 41.699045246349385
- License:
- Abstract: Emotional intelligence in large language models (LLMs) is of great importance in Natural Language Processing. However, the previous research mainly focus on basic sentiment analysis tasks, such as emotion recognition, which is not enough to evaluate LLMs' overall emotional intelligence. Therefore, this paper presents a novel framework named EmotionQueen for evaluating the emotional intelligence of LLMs. The framework includes four distinctive tasks: Key Event Recognition, Mixed Event Recognition, Implicit Emotional Recognition, and Intention Recognition. LLMs are requested to recognize important event or implicit emotions and generate empathetic response. We also design two metrics to evaluate LLMs' capabilities in recognition and response for emotion-related statements. Experiments yield significant conclusions about LLMs' capabilities and limitations in emotion intelligence.
- Abstract(参考訳): 大規模言語モデル(LLM)における感情知能は自然言語処理において非常に重要である。
しかし,従来の研究は,LLMの全体的感情知能を評価するには不十分な感情認識など,基本的な感情分析タスクに重点を置いていた。
そこで本稿では,LLMの感情的知性を評価するためのEmotionQueenというフレームワークを提案する。
このフレームワークには、キーイベント認識、混合イベント認識、インプリシット感情認識、意図認識の4つの固有のタスクが含まれている。
LLMは重要な出来事や暗黙の感情を認識し、共感的な反応を生成するよう要求される。
また、感情関連文の認識と応答におけるLLMの能力を評価するための2つの指標を設計する。
実験により、LLMの能力と感情知能の限界について重要な結論が得られた。
関連論文リスト
- EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。
しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。
EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
論文 参考訳(メタデータ) (2024-06-24T08:33:02Z) - Think out Loud: Emotion Deducing Explanation in Dialogues [57.90554323226896]
対話における感情推論(Emotion Deducing Explanation in Dialogues)を提案する。
EDENは感情と原因を明確な考え方で認識する。
大規模言語モデル(LLM)が感情や原因をよりよく認識するのに役立ちます。
論文 参考訳(メタデータ) (2024-06-07T08:58:29Z) - Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought [50.13429055093534]
大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。
本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
論文 参考訳(メタデータ) (2024-01-12T16:42:10Z) - Customising General Large Language Models for Specialised Emotion
Recognition Tasks [24.822342337306363]
言語感情認識において,大規模言語モデル (LLM) がどのように機能するかを検討する。
具体的には、公開され、広く使われているLLM -- Chat General Language Modelを例示します。
我々は2つの異なるモーダル適応手法、すなわちディープ・プロンプト・チューニングと低ランク適応を用いてターゲットにカスタマイズする。
実験結果から, 適応型LLMは, 他の最先端の深層モデルよりも容易に優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-10-22T08:09:13Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
人間の評価結果を参考として,商業モデルとオープンソースモデルの両方をカバーする7つのLCMを評価対象とする。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Emotional Intelligence of Large Language Models [9.834823298632374]
大規模言語モデル(LLM)は多くの分野において顕著な能力を示している。
しかし、現実世界の応用にとって重要な人間の感情や価値観との整合性は、体系的に評価されていない。
そこで我々は,感情認識,解釈,理解を含むLLMの感情知能(EI)を評価した。
論文 参考訳(メタデータ) (2023-07-18T07:49:38Z) - Large Language Models Understand and Can be Enhanced by Emotional
Stimuli [53.53886609012119]
我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。
実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。
EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-07-14T00:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。