論文の概要: PersonaLLM: Investigating the Ability of Large Language Models to
Express Big Five Personality Traits
- arxiv url: http://arxiv.org/abs/2305.02547v3
- Date: Thu, 16 Nov 2023 07:11:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 20:32:16.825490
- Title: PersonaLLM: Investigating the Ability of Large Language Models to
Express Big Five Personality Traits
- Title（参考訳）: ペルソナLLM:大きな言語モデルによる5つの人格特性の表現能力の検討
- Authors: Hang Jiang, Xiajie Zhang, Xubo Cao, Jad Kabbara
- Abstract要約: 本研究では、大規模言語モデル(LLM)が、割り当てられた人格プロファイルと整合したコンテンツを生成することができるかどうかを検討する。
我々は、ビッグファイブのパーソナモデルに基づいて異なるLLMペルソナを作成し、44項目のBig Five Inventory(BFI)パーソナリティテストとストーリーライティングタスクを完了させ、そのエッセイを自動的および人的評価で評価する。
その結果, LLMペルソナの自己申告したBFIスコアは, 5つの特徴にまたがる大きな効果の大きさで, 指定した性格タイプと一致していることがわかった。
- 参考スコア（独自算出の注目度）: 13.673703034932332
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the many use cases for large language models (LLMs) in creating
personalized chatbots, there has been limited research on evaluating the extent
to which the behaviors of personalized LLMs accurately and consistently reflect
specific personality traits. We consider studying the behavior of LLM-based
agents, referred to as LLM personas, and present a case study with ChatGPT and
GPT-4. The study investigates whether LLMs can generate content that aligns
with their assigned personality profiles. To this end, we create distinct LLM
personas based on the Big Five personality model, have them complete the
44-item Big Five Inventory (BFI) personality test and a story writing task, and
then assess their essays with automatic and human evaluations. Results show
that LLM personas' self-reported BFI scores are consistent with their
designated personality types, with large effect sizes observed across five
traits. Additionally, there are significant correlations between the assigned
personality types and certain psycholinguistic features of their writings, as
measured by the Linguistic Inquiry and Word Count (LIWC) tool. Interestingly,
human evaluators perceive the stories as less personal when told that the
stories are authored by AI. However, their judgments on other aspects of the
writing such as readability, cohesiveness, redundancy, likeability, and
believability remain largely unaffected. Notably, when evaluators were informed
about the AI authorship, their accuracy in identifying the intended personality
traits from the stories decreased by more than 10% for some traits. This
research marks a significant step forward in understanding the capabilities of
LLMs to express personality traits.
- Abstract（参考訳）: パーソナライズされたチャットボットの作成における大規模言語モデル(llm)の多くのユースケースにもかかわらず、パーソナライズされたllmの振る舞いが、特定のパーソナリティ特性を正確かつ一貫して反映する程度を評価するための研究は限られている。
LLMペルソナと呼ばれるLSM系エージェントの挙動について検討し,ChatGPTおよびGPT-4を用いたケーススタディを提案する。
本研究は、LLMが割り当てられた個性プロファイルに沿ったコンテンツを生成することができるかどうかを検討する。
この目的のために,ビッグファイブのパーソナリティモデルに基づいて,個別のllmペルソナを作成し,44項目のbig fiveインベントリ(bfi)パーソナリティテストとストーリーライティングタスクを完了させ,そのエッセイを自動評価とヒューマン評価で評価する。
その結果, LLMペルソナの自己申告したBFIスコアは, 5つの特徴にまたがる大きな効果の大きさで, 指定した性格タイプと一致していることがわかった。
また,言語問合せと単語カウント(LIWC)ツールによって測定されるように,割り当てられた性格タイプと,その文章の特定の心理言語的特徴との間に有意な相関関係が認められた。
興味深いことに、人間の評価者は、ストーリーがAIによって書かれたと伝えると、ストーリーが個人的でないと認識する。
しかし、可読性、結束性、冗長性、相似性、信頼力といった著作の他の面に対する彼らの判断はほとんど影響を受けない。
特に、評価者がAIの著者について知らされたとき、意図された性格特性を特定する精度は、いくつかの特徴について10%以上低下した。
この研究は、人格の特徴を表現するLLMの能力を理解するための重要な一歩となる。
関連論文リスト
- LMLPA: Language Model Linguistic Personality Assessment [11.599282127259736]
大規模言語モデル(LLM)は、日常の生活や研究にますます利用されている。
与えられたLLMの性格を測定することは、現在課題である。
言語モデル言語パーソナリティアセスメント(LMLPA)は,LLMの言語的パーソナリティを評価するシステムである。
論文 参考訳（メタデータ） (2024-10-23T07:48:51Z) - Rediscovering the Latent Dimensions of Personality with Large Language Models as Trait Descriptors [4.814107439144414]
大規模言語モデル(LLM)における潜在人格次元を明らかにする新しいアプローチを提案する。
実験の結果, LLMは, 直接アンケート入力に頼ることなく, 外転, 同意性, 良性, 神経性, 開放性などの中核的性格を「発見」することがわかった。
抽出した主成分を用いて、ビッグファイブ次元に沿ったパーソナリティを評価し、微調整モデルよりも平均的なパーソナリティ予測精度を最大5%向上させることができる。
論文 参考訳（メタデータ） (2024-09-16T00:24:40Z) - Secret Keepers: The Impact of LLMs on Linguistic Markers of Personal Traits [6.886654996060662]
本研究では,Large Language Models (LLMs) が,人口動態や心理的特徴の言語マーカーに与える影響について検討する。
筆者らの個人的特徴に対する言語パターンの予測能力は, LLMの使用によってわずかに低下するが, 顕著な変化は稀である。
論文 参考訳（メタデータ） (2024-03-30T06:49:17Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳（メタデータ） (2024-03-12T12:10:18Z) - Driving Generative Agents With Their Personality [0.0]
本研究では,ゲームキャラクタ開発における心理測定値,特にパーソナリティ情報を活用するためのLarge Language Models (LLMs) の可能性を探る。
この研究は、LLMが与えられたパーソナリティプロファイルを一貫して表現できることを示し、ゲームキャラクタの人間的な特性を高める。
論文 参考訳（メタデータ） (2024-02-21T21:29:57Z) - LLMs Simulate Big Five Personality Traits: Further Evidence [51.13560635563004]
Llama2, GPT4, Mixtralでシミュレートされた性格特性を解析した。
このことは、パーソナリティ特性をシミュレートするLLMの能力のより広範な理解に寄与する。
論文 参考訳（メタデータ） (2024-01-31T13:45:25Z) - Challenging the Validity of Personality Tests for Large Language Models [2.9123921488295768]
大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞う。
人格検査に対するLLMの反応は、人間の反応から体系的に逸脱する。
論文 参考訳（メタデータ） (2023-11-09T11:54:01Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-01T06:16:14Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳（メタデータ） (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。