論文の概要: Emotional Intelligence of Large Language Models
- arxiv url: http://arxiv.org/abs/2307.09042v2
- Date: Fri, 28 Jul 2023 06:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 15:23:43.390407
- Title: Emotional Intelligence of Large Language Models
- Title(参考訳): 大規模言語モデルの感情インテリジェンス
- Authors: Xuena Wang, Xueting Li, Zi Yin, Yue Wu and Liu Jia
- Abstract要約: 大規模言語モデル(LLM)は多くの分野において顕著な能力を示している。
しかし、現実世界の応用にとって重要な人間の感情や価値観との整合性は、体系的に評価されていない。
そこで我々は,感情認識,解釈,理解を含むLLMの感情知能(EI)を評価した。
- 参考スコア(独自算出の注目度): 9.834823298632374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable abilities across
numerous disciplines, primarily assessed through tasks in language generation,
knowledge utilization, and complex reasoning. However, their alignment with
human emotions and values, which is critical for real-world applications, has
not been systematically evaluated. Here, we assessed LLMs' Emotional
Intelligence (EI), encompassing emotion recognition, interpretation, and
understanding, which is necessary for effective communication and social
interactions. Specifically, we first developed a novel psychometric assessment
focusing on Emotion Understanding (EU), a core component of EI, suitable for
both humans and LLMs. This test requires evaluating complex emotions (e.g.,
surprised, joyful, puzzled, proud) in realistic scenarios (e.g., despite
feeling underperformed, John surprisingly achieved a top score). With a
reference frame constructed from over 500 adults, we tested a variety of
mainstream LLMs. Most achieved above-average EQ scores, with GPT-4 exceeding
89% of human participants with an EQ of 117. Interestingly, a multivariate
pattern analysis revealed that some LLMs apparently did not reply on the
human-like mechanism to achieve human-level performance, as their
representational patterns were qualitatively distinct from humans. In addition,
we discussed the impact of factors such as model size, training method, and
architecture on LLMs' EQ. In summary, our study presents one of the first
psychometric evaluations of the human-like characteristics of LLMs, which may
shed light on the future development of LLMs aiming for both high intellectual
and emotional intelligence. Project website:
https://emotional-intelligence.github.io/
- Abstract(参考訳): 大規模言語モデル(LLM)は、言語生成、知識利用、複雑な推論といったタスクを通じて、多くの分野において顕著な能力を示してきた。
しかし、現実の応用に欠かせない人間の感情や価値観との整合は体系的に評価されていない。
そこで我々は,LLMの感情知能(EI)を評価し,効果的なコミュニケーションや社会的相互作用に必要な感情認識,解釈,理解を包含した。
具体的には、EIのコアコンポーネントである感情理解(EU)に焦点を当てた、人間とLLMの両方に適した新しい心理測定評価法を開発した。
このテストでは、現実的なシナリオにおいて複雑な感情(例えば、驚き、喜び、パズル、誇り)を評価する必要がある(例えば、パフォーマンスの低さにもかかわらず、ジョンは驚くほどトップスコアを獲得した)。
500人以上の大人から作られた参照フレームを用いて、私たちは様々な主要なLSMをテストしました。
GPT-4は、EQが117人である人の89%を超えている。
興味深いことに、多変量パターン解析により、一部のLCMは人間と質的に異なる表現パターンであるため、人間レベルのパフォーマンスを達成するための人間的なメカニズムに応答しなかったことが明らかとなった。
さらに,モデルサイズ,トレーニング方法,アーキテクチャなどの要因がllmsのeqに与える影響についても検討した。
本研究は,LLMの人間的特徴に関する最初の心理測定的評価の1つであり,高知能・感情知能の両立を目指したLCMの今後の発展に光を当てる可能性がある。
プロジェクトウェブサイト: https://emotional-intelligence.github.io/
関連論文リスト
- EmoBench: Evaluating the Emotional Intelligence of Large Language Models [75.79920924768798]
EmoBenchは、確立された心理学理論に基づいて、マシン感情知能(EI)の包括的な定義を提案するベンチマークである。
EmoBenchには、英語と中国語で400の手作りの質問が含まれている。
以上の結果から,既存の大規模言語モデルのEIと平均的な人間の間には,かなりのギャップがみられ,今後の研究に向けての有望な方向性が浮かび上がっている。
論文 参考訳(メタデータ) (2024-02-19T11:48:09Z) - Enhancing Emotional Generation Capability of Large Language Models via
Emotional Chain-of-Thought [53.1230874584344]
大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。
本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
論文 参考訳(メタデータ) (2024-01-12T16:42:10Z) - An Appraisal-Based Chain-Of-Emotion Architecture for Affective Language
Model Game Agents [0.40964539027092906]
本研究では,感情的知性課題の解決と感情のシミュレートを目的とした大規模言語モデルの能力について検討する。
心理学的評価研究に基づいて,ゲーム内の感情シミュレーションのための新たな感情連鎖アーキテクチャを提示し,評価する。
論文 参考訳(メタデータ) (2023-09-10T16:55:49Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using
EmotionBench [87.0089656487486]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Large Language Models Understand and Can be Enhanced by Emotional
Stimuli [53.53886609012119]
我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。
実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。
EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-07-14T00:57:12Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Language-Specific Representation of Emotion-Concept Knowledge Causally
Supports Emotion Inference [44.126681295827794]
この研究は、大規模言語モデル(LLMs)として知られる人工知能の形式を用いて、言語に基づく感情の表現が、新しい状況の感情的意味に関する推論を生成するAIの能力に因果的に寄与するかどうかを評価する。
本研究は,LLMでも知覚モダ表現の欠如による感情の学習が可能であり,言語由来の感情概念知識の感情推論への寄与を強調した。
論文 参考訳(メタデータ) (2023-02-19T14:21:33Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。