論文の概要: Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using
EmotionBench
- arxiv url: http://arxiv.org/abs/2308.03656v1
- Date: Mon, 7 Aug 2023 15:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 13:02:22.412413
- Title: Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using
EmotionBench
- Title(参考訳): 感情的なヌームか共感か?
EmotionBench を用いた LLM の実用性評価
- Authors: Jen-tse Huang, Man Ho Lam, Eric John Li, Shujie Ren, Wenxuan Wang,
Wenxiang Jiao, Zhaopeng Tu, Michael R. Lyu
- Abstract要約: 心理学からの感情評価理論に基づいて,Large Language Models (LLMs) の共感能力を評価する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
人間の評価結果を参考として、モデルサイズの変化を含む5つのLCMを評価対象とする。
- 参考スコア(独自算出の注目度): 51.80188160717136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the community has witnessed the advancement of Large Language
Models (LLMs), which have shown remarkable performance on various downstream
tasks. Led by powerful models like ChatGPT and Claude, LLMs are revolutionizing
how users engage with software, assuming more than mere tools but intelligent
assistants. Consequently, evaluating LLMs' anthropomorphic capabilities becomes
increasingly important in contemporary discourse. Utilizing the emotion
appraisal theory from psychology, we propose to evaluate the empathy ability of
LLMs, i.e., how their feelings change when presented with specific situations.
After a careful and comprehensive survey, we collect a dataset containing over
400 situations that have proven effective in eliciting the eight emotions
central to our study. Categorizing the situations into 36 factors, we conduct a
human evaluation involving more than 1,200 subjects worldwide. With the human
evaluation results as references, our evaluation includes five LLMs, covering
both commercial and open-source models, including variations in model sizes,
featuring the latest iterations, such as GPT-4 and LLaMA 2. A conclusion can be
drawn from the results that, despite several misalignments, LLMs can generally
respond appropriately to certain situations. Nevertheless, they fall short in
alignment with the emotional behaviors of human beings and cannot establish
connections between similar situations. Our collected dataset of situations,
the human evaluation results, and the code of our testing framework, dubbed
EmotionBench, is made publicly in https://github.com/CUHK-ARISE/EmotionBench.
We aspire to contribute to the advancement of LLMs regarding better alignment
with the emotional behaviors of human beings, thereby enhancing their utility
and applicability as intelligent assistants.
- Abstract(参考訳): 最近、コミュニティは大規模言語モデル(LLM)の進歩を目撃し、様々な下流タスクにおいて顕著なパフォーマンスを示した。
chatgptやclaudeのような強力なモデルに導かれ、llmは単なるツールではなくインテリジェントなアシスタントとして、ソフトウェアとの関わり方を革新している。
その結果、llmsの擬人化能力の評価は、現代の談話においてますます重要になっている。
感情評価理論を心理学から活用し, LLMの共感能力, すなわち, 特定の状況における感情の変化を評価することを提案する。
慎重に総合的な調査を行い、400以上の状況を含むデータセットを収集し、研究の中心となる8つの感情を解明した。
状況を36の要因に分類し,世界1200名以上の被験者を対象に,人間による評価を行った。
GPT-4 や LLaMA 2 のような最新のイテレーションを特徴とする,商用モデルとオープンソースモデルの両方をカバーする5つの LLM を参考として評価を行った。
結論は、いくつかの誤用にもかかわらず、llmは一般に特定の状況に適切に対応できるという結果から導き出される。
しかしながら、それらは人間の感情的な行動と一致せず、類似した状況間のつながりを確立できない。
EmotionBenchという名前の私たちのテストフレームワークのデータセットは、https://github.com/CUHK-ARISE/EmotionBenchで公開されています。
我々は,人間の感情行動との整合性を向上し,知的アシスタントとしての有用性と適用性を高めることを目的としている。
関連論文リスト
- NegativePrompt: Leveraging Psychology for Large Language Models Enhancement via Negative Emotional Stimuli [21.846500669385193]
大規模言語モデル(LLM)は幅広い応用に不可欠なものとなっている。
LLMには感情的な知性があり、肯定的な感情刺激によってさらに発展することができる。
心理学的原理に基づく新しいアプローチであるNegativePromptを紹介する。
論文 参考訳(メタデータ) (2024-05-05T05:06:07Z) - Large Language Models are Capable of Offering Cognitive Reappraisal, if Guided [38.11184388388781]
大規模言語モデル(LLM)は感情的サポートの新しい機会を提供する。
この研究は、認知的再評価に取り組み、第一歩を踏み出す。
我々は、認知的再評価反応を生成するLLMのゼロショット能力について、第一種専門家による評価を行う。
論文 参考訳(メタデータ) (2024-04-01T17:56:30Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Evaluating Subjective Cognitive Appraisals of Emotions from Large
Language Models [47.890846082224066]
この研究は、24の評価次元を評価する最も包括的なデータセットであるCovidET-Appraisalsを提示することでギャップを埋める。
CovidET-Appraisalsは、認知的評価を自動的に評価し、説明するための大規模言語モデルの能力を評価するのに理想的なテストベッドを提供する。
論文 参考訳(メタデータ) (2023-10-22T19:12:17Z) - Who is ChatGPT? Benchmarking LLMs' Psychological Portrayal Using
PsychoBench [83.41621219298489]
大規模言語モデル(LLM)の多様な心理学的側面を評価するためのフレームワーク「サイコベンチ」を提案する。
サイコベンチはこれらの尺度を、性格特性、対人関係、モチベーションテスト、感情能力の4つのカテゴリーに分類する。
我々は、安全アライメントプロトコルをバイパスし、LLMの本質的な性質をテストするためにジェイルブレイクアプローチを採用している。
論文 参考訳(メタデータ) (2023-10-02T17:46:09Z) - Emotional Intelligence of Large Language Models [9.834823298632374]
大規模言語モデル(LLM)は多くの分野において顕著な能力を示している。
しかし、現実世界の応用にとって重要な人間の感情や価値観との整合性は、体系的に評価されていない。
そこで我々は,感情認識,解釈,理解を含むLLMの感情知能(EI)を評価した。
論文 参考訳(メタデータ) (2023-07-18T07:49:38Z) - Large Language Models Understand and Can be Enhanced by Emotional
Stimuli [53.53886609012119]
我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。
実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。
EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-07-14T00:57:12Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。