論文の概要: Open Models, Closed Minds? On Agents Capabilities in Mimicking Human
Personalities through Open Large Language Models
- arxiv url: http://arxiv.org/abs/2401.07115v1
- Date: Sat, 13 Jan 2024 16:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 19:46:11.370234
- Title: Open Models, Closed Minds? On Agents Capabilities in Mimicking Human
Personalities through Open Large Language Models
- Title（参考訳）: オープンモデル、クローズドマインド?
オープン・大型言語モデルによる個人性を模倣するエージェント能力について
- Authors: Lucio La Cava, Davide Costa, Andrea Tagarelli
- Abstract要約: 本研究の目的は,オープンLLMを用いて人格をエミュレートするエージェントの能力を総合的に検証することである。
我々は,最も代表的なオープンモデルに基づいて10個のLLMエージェントを生成し,マイアーズ・ブリッグス型指標(MBTI)テストに関する一連の評価を行う。
提案手法は,オープンLLMエージェントの本質的な性格特性の評価と,特定の個性や役割によって条件付けられた場合に,これらのエージェントが人格を模倣できる程度を判断することである。
- 参考スコア（独自算出の注目度）: 5.50945771438776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of unveiling human-like behaviors in Large Language Models
(LLMs) has led to a closer connection between NLP and human psychology, leading
to a proliferation of computational agents. Scholars have been studying the
inherent personalities displayed by LLM agents and attempting to incorporate
human traits and behaviors into them. However, these efforts have primarily
focused on commercially-licensed LLMs, neglecting the widespread use and
notable advancements seen in Open LLMs. This work aims to address this gap by
conducting a comprehensive examination of the ability of agents to emulate
human personalities using Open LLMs. To achieve this, we generate a set of ten
LLM Agents based on the most representative Open models and subject them to a
series of assessments concerning the Myers-Briggs Type Indicator (MBTI) test.
Our approach involves evaluating the intrinsic personality traits of Open LLM
agents and determining the extent to which these agents can mimic human
personalities when conditioned by specific personalities and roles. Our
findings unveil that: $(i)$ each Open LLM agent showcases distinct human
personalities; $(ii)$ personality-conditioned prompting produces varying
effects on the agents, with only few successfully mirroring the imposed
personality, while most of them being ``closed-minded'' (i.e., they retain
their intrinsic traits); $(iii)$ combining role and personality conditioning
can enhance the agents' ability to mimic human personalities; and $(iv)$
personalities typically associated with the role of teacher tend to be emulated
with greater accuracy. Our work represents a step up in understanding the dense
relationship between NLP and human psychology through the lens of Open LLMs.
- Abstract（参考訳）: LLM(Large Language Models)における人間に似た行動の出現は、NLPと人間の心理学との密接な関係をもたらし、計算エージェントの増殖につながった。
研究者は、llmエージェントが示す固有の個性を研究し、人間の特性や行動を取り込もうとしてきた。
しかし、これらの取り組みは主に商用ライセンスのLLMに焦点を合わせており、Open LLMで見られる広く使われていることや顕著な進歩を無視している。
本研究の目的は,オープンLLMを用いて人格をエミュレートするエージェントの能力を包括的に検証することで,このギャップに対処することである。
これを実現するために、最も代表的なオープンモデルに基づいて10個のLLMエージェントを生成し、マイアーズ・ブリッグス型指標(MBTI)テストに関する一連の評価を行う。
このアプローチでは,オープンllmエージェントの性格特性を評価し,特定の個性や役割によって条件づけられた場合の人格を模倣できる程度を判断する。
われわれの調査結果はそれを明らかにしている。
(i)各Open LLMエージェントは、異なる人間の個性を示す$
(ii)$パーソナリティ条件付プロンプトはエージェントに様々な効果をもたらすが、課せられるパーソナリティを反映させるのに成功している人はほとんどおらず、そのほとんどは「クローズド・マインドド」である(すなわち、内在的な特性を保持する)。
(iii)$ ロールとパーソナリティ・コンディショニングの組み合わせは、エージェントの人格を模倣する能力を高め、$
(四)典型的には教師の役割にまつわる人格は、より正確でエミュレートされる傾向にある。
我々の研究は、オープンLLMのレンズを通して、NLPと人間の心理学の密接な関係を理解するための一歩である。
関連論文リスト
- Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。
LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-16T07:47:45Z) - The Better Angels of Machine Personality: How Personality Relates to LLM Safety [46.30207266304056]
LLM(Large Language Models)における人格特性と安全能力の関係は謎のままである。
LLMの性格特性が安全性と密接に関連していることが判明した。
ISTJからISTPへパーソナリティを誘導すると、プライバシとフェアネスのパフォーマンスが約43%と10%向上した。
論文 参考訳（メタデータ） (2024-07-17T06:36:29Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Identifying Multiple Personalities in Large Language Models with
External Evaluation [6.657168333238573]
大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。
近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。
しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
論文 参考訳（メタデータ） (2024-02-22T18:57:20Z) - Can Large Language Model Agents Simulate Human Trust Behavior? [81.45930976132203]
本研究では,Large Language Model (LLM) エージェントが人間の信頼行動をシミュレートできるかどうかを検討する。
GPT-4は、信頼行動の観点から、人間と高い行動アライメントを示す。
また、エージェント信頼のバイアスや、他のLSMエージェントや人間に対するエージェント信頼の差についても検討する。
論文 参考訳（メタデータ） (2024-02-07T03:37:19Z) - Illuminating the Black Box: A Psychometric Investigation into the
Multifaceted Nature of Large Language Models [3.692410936160711]
本研究では,AIパーソナリティやAInalityの概念を探求し,Large Language Models(LLM)が人間のパーソナリティに似たパターンを示すことを示唆する。
プロジェクティブテストを用いて,直接質問を通じて容易にはアクセスできないLLM個性の隠れた側面を明らかにする。
機械学習解析の結果,LSMは異なるAinality特性を示し,多様な性格型を示し,外的指示に応答して動的に変化を示すことが明らかとなった。
論文 参考訳（メタデータ） (2023-12-21T04:57:21Z) - Do LLMs Possess a Personality? Making the MBTI Test an Amazing
Evaluation for Large Language Models [2.918940961856197]
我々は,大規模言語モデル(LLM)の評価指標として,人格評価ツールであるMBTI(Myers-Briggs Type Indicator)の有効性を検討することを目的とする。
具体的には,1)異なるLDMの性格タイプ,2)素早いエンジニアリングによる人格タイプの変化の可能性,3)モデルの性格にどのような影響があるかを検討する。
論文 参考訳（メタデータ） (2023-07-30T09:34:35Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z) - PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits [30.770525830385637]
本研究では,ビッグファイブ・パーソナリティ・モデルに基づく大規模言語モデル(LLM)の行動について検討する。
その結果, LLMペルソナの自己申告したBFIスコアは, 指定した性格タイプと一致していることがわかった。
人間の評価は、人間は最大80%の精度でいくつかの性格特性を知覚できることを示している。
論文 参考訳（メタデータ） (2023-05-04T04:58:00Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳（メタデータ） (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。