Fugu-MT 論文翻訳(概要): Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis

論文の概要: Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis

arxiv url: http://arxiv.org/abs/2405.07248v1
Date: Sun, 12 May 2024 10:52:15 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 17:30:59.199327
Title: Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis
Title（参考訳）: ヒト心理行動のシミュレーションにおけるLDMの限られた能力:心理学的分析
Authors: Nikolay B Petrov, Gregory Serapio-García, Jason Rentfrow,
Abstract要約: 我々はOpenAIのフラッグシップモデルであるGPT-3.5とGPT-4に、異なるペルソナを仮定し、パーソナ構成の標準化された範囲に対応するよう促す。その結果, GPT-4からの反応は, GPT-3.5ではなく, 汎用的なペルソナ記述を用いれば, 完全ではないものの, 有望な心理特性を示すことがわかった。
参考スコア（独自算出の注目度）: 0.27309692684728604
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The humanlike responses of large language models (LLMs) have prompted social scientists to investigate whether LLMs can be used to simulate human participants in experiments, opinion polls and surveys. Of central interest in this line of research has been mapping out the psychological profiles of LLMs by prompting them to respond to standardized questionnaires. The conflicting findings of this research are unsurprising given that mapping out underlying, or latent, traits from LLMs' text responses to questionnaires is no easy task. To address this, we use psychometrics, the science of psychological measurement. In this study, we prompt OpenAI's flagship models, GPT-3.5 and GPT-4, to assume different personas and respond to a range of standardized measures of personality constructs. We used two kinds of persona descriptions: either generic (four or five random person descriptions) or specific (mostly demographics of actual humans from a large-scale human dataset). We found that the responses from GPT-4, but not GPT-3.5, using generic persona descriptions show promising, albeit not perfect, psychometric properties, similar to human norms, but the data from both LLMs when using specific demographic profiles, show poor psychometrics properties. We conclude that, currently, when LLMs are asked to simulate silicon personas, their responses are poor signals of potentially underlying latent traits. Thus, our work casts doubt on LLMs' ability to simulate individual-level human behaviour across multiple-choice question answering tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)の人間的な反応は、社会科学者に、実験、世論調査、調査において人間の参加者をシミュレートするためにLLMを使用できるかどうかを調査するよう促している。この研究の中心的な関心は、標準化されたアンケートに答えるよう促すことによって、LCMの心理的プロファイルをマッピングすることである。この研究の矛盾する発見は、LCMのテキスト応答から質問への基礎的、あるいは潜伏的な特徴のマッピングは容易な作業ではないことを考えると、驚くにあたらない。これを解決するために、心理測定学(サイコメトリックス)を用いる。本研究では,OpenAI のフラッグシップモデルである GPT-3.5 と GPT-4 に対して,異なるペルソナを仮定し,パーソナ構成の標準化された範囲に対応するよう促す。我々は、ジェネリック(4人か5人のランダムな人格記述)と特定の(主に大規模な人間のデータセットの実際の人間の人口統計)の2種類のペルソナ記述を使用しました。 GPT-4の反応は, GPT-3.5ではなく, GPT-3.5ではなく, GPT-3.5の反応は, 完全ではなく, 人間の規範と類似した, 有望な心理指標特性を示すが, 特定の人口統計学的プロファイルを用いた場合, 両者のデータは, 心理指標特性が劣ることを示している。現在、LLMがシリコンペルソナをシミュレートするよう求められている場合、それらの応答は潜在的な潜在特性の弱い信号である、と結論付けている。したがって、本研究は、複数の質問応答タスクにまたがる個人レベルの人間の振る舞いをシミュレートするLLMの能力に疑問を投げかけている。

関連論文リスト

Humanity in AI: Detecting the Personality of Large Language Models [0.0]
アンケートは大規模言語モデル(LLM)の個性を検出する一般的な方法である本稿では,テキストマイニングとアンケート手法の組み合わせを提案する。 LLMのパーソナリティは、事前訓練されたデータから導かれる。
論文参考訳（メタデータ） (2024-10-11T05:53:11Z)
Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文参考訳（メタデータ） (2024-06-25T16:09:08Z)
Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
論文参考訳（メタデータ） (2024-06-20T16:24:07Z)
Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
論文参考訳（メタデータ） (2024-05-09T19:02:53Z)
Challenging the Validity of Personality Tests for Large Language Models [2.9123921488295768]
大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞う。人格検査に対するLLMの反応は、人間の反応から体系的に逸脱する。
論文参考訳（メタデータ） (2023-11-09T11:54:01Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)
PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-10-31T08:23:33Z)
Editing Personality for Large Language Models [73.59001811199823]
本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
論文参考訳（メタデータ） (2023-10-03T16:02:36Z)
Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文参考訳（メタデータ） (2023-05-31T15:03:28Z)
Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-01T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。