論文の概要: Do LLMs Possess a Personality? Making the MBTI Test an Amazing
Evaluation for Large Language Models
- arxiv url: http://arxiv.org/abs/2307.16180v1
- Date: Sun, 30 Jul 2023 09:34:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 17:17:11.184418
- Title: Do LLMs Possess a Personality? Making the MBTI Test an Amazing
Evaluation for Large Language Models
- Title(参考訳): LLMはパーソナリティを高めるか?
MBTIテストが大規模言語モデルの驚くべき評価に
- Authors: Keyu Pan, Yawen Zeng
- Abstract要約: 我々は,大規模言語モデル(LLM)の評価指標として,人格評価ツールであるMBTI(Myers-Briggs Type Indicator)の有効性を検討することを目的とする。
具体的には,1)異なるLDMの性格タイプ,2)素早いエンジニアリングによる人格タイプの変化の可能性,3)モデルの性格にどのような影響があるかを検討する。
- 参考スコア(独自算出の注目度): 2.918940961856197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of large language models (LLMs) has made significant progress, and
their knowledge storage capacity is approaching that of human beings.
Furthermore, advanced techniques, such as prompt learning and reinforcement
learning, are being employed to address ethical concerns and hallucination
problems associated with LLMs, bringing them closer to aligning with human
values. This situation naturally raises the question of whether LLMs with
human-like abilities possess a human-like personality? In this paper, we aim to
investigate the feasibility of using the Myers-Briggs Type Indicator (MBTI), a
widespread human personality assessment tool, as an evaluation metric for LLMs.
Specifically, extensive experiments will be conducted to explore: 1) the
personality types of different LLMs, 2) the possibility of changing the
personality types by prompt engineering, and 3) How does the training dataset
affect the model's personality. Although the MBTI is not a rigorous assessment,
it can still reflect the similarity between LLMs and human personality. In
practice, the MBTI has the potential to serve as a rough indicator. Our codes
are available at
https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbti.
- Abstract(参考訳): 大規模言語モデル(LLM)の分野は大きな進歩を遂げ、その知識の蓄積能力は人間のものに近づきつつある。
さらに、即興学習や強化学習といった高度な技術がllmに関連する倫理的懸念や幻覚問題に対処するために用いられており、人間的価値観との整合に近づいている。
この状況は、人間のような能力を持つLLMが人間のような性格を持っているかどうかという疑問を自然に提起する。
本稿では, LLM の評価指標として, 人格評価ツールである Myers-Briggs Type Indicator (MBTI) の有効性を検討することを目的とする。
具体的には、広範な実験が実施される。
1)異なるLLMの性格タイプ。
2)即興工学によるパーソナリティタイプ変更の可能性
3) トレーニングデータセットはモデルのパーソナリティにどのように影響するか。
MBTIは厳密な評価ではないが、LLMと人間の性格の類似性を反映することができる。
実際には、MBTIは粗い指標として機能する可能性がある。
私たちのコードはhttps://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbtiで利用可能です。
関連論文リスト
- PHAnToM: Personality Has An Effect on Theory-of-Mind Reasoning in Large Language Models [25.657579792829743]
本研究では,大規模言語モデルにおけるパーソナリティの誘導が,理論・オブ・ミンド(ToM)推論能力にどのように影響するかを検討する。
3種類のToMタスクにおいて,特定の個人性がLLMの推論能力に大きな影響を与えることが判明した。
ToMにおけるパーソナリティプロンプトのばらつきを示すLCMは、パーソナリティテストにおいてより制御しやすい傾向にある。
論文 参考訳(メタデータ) (2024-03-04T17:34:34Z) - Identifying Multiple Personalities in Large Language Models with
External Evaluation [6.657168333238573]
大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。
近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。
しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
論文 参考訳(メタデータ) (2024-02-22T18:57:20Z) - Open Models, Closed Minds? On Agents Capabilities in Mimicking Human
Personalities through Open Large Language Models [5.50945771438776]
本研究の目的は,オープンLLMを用いて人格をエミュレートするエージェントの能力を総合的に検証することである。
我々は,最も代表的なオープンモデルに基づいて10個のLLMエージェントを生成し,マイアーズ・ブリッグス型指標(MBTI)テストに関する一連の評価を行う。
提案手法は,オープンLLMエージェントの本質的な性格特性の評価と,特定の個性や役割によって条件付けられた場合に,これらのエージェントが人格を模倣できる程度を判断することである。
論文 参考訳(メタデータ) (2024-01-13T16:41:40Z) - Illuminating the Black Box: A Psychometric Investigation into the
Multifaceted Nature of Large Language Models [3.692410936160711]
本研究では,AIパーソナリティやAInalityの概念を探求し,Large Language Models(LLM)が人間のパーソナリティに似たパターンを示すことを示唆する。
プロジェクティブテストを用いて,直接質問を通じて容易にはアクセスできないLLM個性の隠れた側面を明らかにする。
機械学習解析の結果,LSMは異なるAinality特性を示し,多様な性格型を示し,外的指示に応答して動的に変化を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-12-21T04:57:21Z) - Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。
本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
論文 参考訳(メタデータ) (2023-10-16T07:58:56Z) - Who is ChatGPT? Benchmarking LLMs' Psychological Portrayal Using
PsychoBench [83.41621219298489]
大規模言語モデル(LLM)の多様な心理学的側面を評価するためのフレームワーク「サイコベンチ」を提案する。
サイコベンチはこれらの尺度を、性格特性、対人関係、モチベーションテスト、感情能力の4つのカテゴリーに分類する。
我々は、安全アライメントプロトコルをバイパスし、LLMの本質的な性質をテストするためにジェイルブレイクアプローチを採用している。
論文 参考訳(メタデータ) (2023-10-02T17:46:09Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。