論文の概要: PersonaLLM: Investigating the Ability of Large Language Models to
Express Personality Traits
- arxiv url: http://arxiv.org/abs/2305.02547v4
- Date: Mon, 26 Feb 2024 23:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 00:44:54.677320
- Title: PersonaLLM: Investigating the Ability of Large Language Models to
Express Personality Traits
- Title(参考訳): ペルソナLLM:大規模言語モデルによるパーソナリティ特性の表現能力の検討
- Authors: Hang Jiang, Xiajie Zhang, Xubo Cao, Cynthia Breazeal, Jad Kabbara, Deb
Roy
- Abstract要約: 本研究では,ビッグファイブ・パーソナリティ・モデルに基づく大規模言語モデル(LLM)の行動について検討する。
その結果, LLMペルソナの自己申告したBFIスコアは, 指定した性格タイプと一致していることがわかった。
人間の評価は、人間は最大80%の精度でいくつかの性格特性を知覚できることを示している。
- 参考スコア(独自算出の注目度): 32.6049360002182
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the many use cases for large language models (LLMs) in creating
personalized chatbots, there has been limited research on evaluating the extent
to which the behaviors of personalized LLMs accurately and consistently reflect
specific personality traits. We consider studying the behavior of LLM-based
agents which we refer to as LLM personas and present a case study with GPT-3.5
and GPT-4 to investigate whether LLMs can generate content that aligns with
their assigned personality profiles. To this end, we simulate distinct LLM
personas based on the Big Five personality model, have them complete the
44-item Big Five Inventory (BFI) personality test and a story writing task, and
then assess their essays with automatic and human evaluations. Results show
that LLM personas' self-reported BFI scores are consistent with their
designated personality types, with large effect sizes observed across five
traits. Additionally, LLM personas' writings have emerging representative
linguistic patterns for personality traits when compared with a human writing
corpus. Furthermore, human evaluation shows that humans can perceive some
personality traits with an accuracy of up to 80\%. Interestingly, the accuracy
drops significantly when the annotators were informed of the AI's authorship.
- Abstract(参考訳): パーソナライズされたチャットボットの作成における大規模言語モデル(llm)の多くのユースケースにもかかわらず、パーソナライズされたllmの振る舞いが、特定のパーソナリティ特性を正確かつ一貫して反映する程度を評価するための研究は限られている。
我々は, LLMを主体としたエージェントの行動について検討し, GPT-3.5 と GPT-4 を事例として, LLM が割り当てられた個性プロファイルに適合するコンテンツを生成できるかどうかを考察した。
この目的のために、我々は、ビッグファイブのパーソナモデルに基づいて異なるLLMペルソナをシミュレートし、44項目のBig Five Inventory(BFI)パーソナリティテストとストーリーライティングタスクを完了させ、そのエッセイを自動的および人的評価で評価する。
その結果, LLMペルソナの自己申告したBFIスコアは, 5つの特徴にまたがる大きな効果の大きさで, 指定した性格タイプと一致していることがわかった。
さらに、llmペルソナの著作は、人間の文章コーパスと比較すると、パーソナリティ特性に代表される言語パターンが出現する。
さらに、人間評価では、人間は80\%の精度で人格特性を知覚できることが示されている。
興味深いことに、アノテータがAIの作者に通知されると、精度は大幅に低下する。
関連論文リスト
- LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-12T12:10:18Z) - Driving Generative Agents With Their Personality [0.0]
本研究では,ゲームキャラクタ開発における心理測定値,特にパーソナリティ情報を活用するためのLarge Language Models (LLMs) の可能性を探る。
この研究は、LLMが与えられたパーソナリティプロファイルを一貫して表現できることを示し、ゲームキャラクタの人間的な特性を高める。
論文 参考訳(メタデータ) (2024-02-21T21:29:57Z) - LLMs Simulate Big Five Personality Traits: Further Evidence [51.13560635563004]
Llama2, GPT4, Mixtralでシミュレートされた性格特性を解析した。
このことは、パーソナリティ特性をシミュレートするLLMの能力のより広範な理解に寄与する。
論文 参考訳(メタデータ) (2024-01-31T13:45:25Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Large Language Models Can Infer Psychological Dispositions of Social
Media Users [1.2277343096128712]
本研究では,デジタルフットプリントから個人の心理的沈着を推定する大規模言語モデルの可能性について検討した。
ゼロショット学習シナリオにおいて,GPT-3.5とGPT-4がユーザのFacebookステータス更新からビッグファイブの特徴を引き出す能力を評価する。
以上の結果から,性別や年齢に対する性格推定の偏りが示唆された。
論文 参考訳(メタデータ) (2023-09-13T01:27:48Z) - Personality Traits in Large Language Models [44.908741466152215]
コミュニケーションの有効性を決定する重要な要因は人格である。
広範に使われている大規模言語モデルにおいて,パーソナリティテストの管理と検証を行う包括的手法を提案する。
本稿では,計測・形成手法の応用と倫理的意義,特に責任あるAIについて論じる。
論文 参考訳(メタデータ) (2023-07-01T00:58:51Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。