論文の概要: Large Language Models as Digital Twins: a Distribution-Aware Questionnaire-Based Evaluation
- arxiv url: http://arxiv.org/abs/2611.16586v1
- Date: Thu, 12 Nov 2026 10:18:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.443907
- Title: Large Language Models as Digital Twins: a Distribution-Aware Questionnaire-Based Evaluation
- Title(参考訳): ディジタル双生児としての大規模言語モデル:分布型質問紙による評価
- Abstract要約: 本稿では,大規模言語モデルが特定の個人としてパーソナライズされた質問に答えられるかどうかを検討する。
ユーザのソーシャルメディア投稿を前提として、BFI-2-60 Big Five のアンケートをそのユーザとして完了する。
GPT-4, Gemma, Llama 3.1, MistralをMyPersonalityデータセット上で評価した。
- 参考スコア(独自算出の注目度): 1.3649494534428745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates whether Large Language Models can answer a personality questionnaire as a specific individual would. Given a user's social-media posts, the model completes the BFI-2-60 Big Five questionnaire as that user. The predicted responses are converted into trait scores and compared with the user's actual scores. We evaluate GPT-4, Gemma, Llama 3.1, and Mistral on the MyPersonality dataset. To determine whether predictions reflect information from the user's writing, we compare them with answers produced without user text and with values derived from general population tendencies. We measure prediction error across all users and separately for individuals with low, intermediate, and high trait scores. We also test whether an LLM can express an explicit personality profile when given only the target Big Five scores, without user text, and examine how predictions change as more text is provided. The results show that user text does not consistently improve performance. Models perform better near the middle of the trait distribution, while at the lower and upper ends they often remain close to central values or perform well at one end but poorly at the other. When given an explicit profile, GPT-4 most clearly translates trait information into consistent questionnaire responses, particularly for Extraversion and Neuroticism. Increasing context does not systematically reduce error: open-source models fluctuate more, whereas GPT-4 remains comparatively stable. Overall, the evaluated models do not consistently reproduce the questionnaire behavior of specific individuals.
- Abstract(参考訳): 本稿では,大規模言語モデルが特定の個人としてパーソナライズされた質問に答えられるかどうかを検討する。
ユーザのソーシャルメディア投稿を前提として、BFI-2-60 Big Five のアンケートをそのユーザとして完了する。
予測応答は特性スコアに変換され、ユーザの実際のスコアと比較される。
GPT-4, Gemma, Llama 3.1, MistralをMyPersonalityデータセット上で評価した。
ユーザの文章からの情報を反映しているかどうかを判断するために,ユーザテキストを使わずに生成した回答と,一般人口傾向から得られた値とを比較した。
我々は,低,中,高特性の個人に対して,全ユーザおよび別々に予測誤差を測定した。
また,目的とするBig Fiveスコアのみを与えられた場合,LLMが明示的なパーソナリティプロファイルをユーザテキストなしで表現できるかどうかを検証し,より多くのテキストが提供されるにつれて,予測がどのように変化するかを検証した。
その結果、ユーザテキストは一貫して性能を向上しないことがわかった。
モデルの性能は特性分布の中央付近で向上する一方、下端と上端では中央値に近づき、一方の端では良好に機能するが、他方では良くない。
明示的なプロファイルが与えられた場合、GPT-4は、特に外転と神経症に対して、特徴情報を一貫した質問応答に最も明確に翻訳する。
オープンソースモデルはより変動し、GPT-4は比較的安定している。
全体として、評価されたモデルは、特定の個人の質問行動を一貫して再現しない。
関連論文リスト
- Thinking Less to Simulate Better: Intuitive Prompting Improves LLM Agents Simulating Individual Social Media Reactions, Including Unfamiliar Content [3.8004485764371942]
本研究は,8人のセルビア人参加者を対象に,アンケート,インタビュー,自己表現を行った。
4つの言語モデルを用いて、プロファイル内容と命令スタイルの異なる5つのプロンプト条件下での反応を予測した。
モデルに直感的かつ即応的に応答するように指示すると、どんな条件でも最も忠実になる。
論文 参考訳(メタデータ) (2026-09-24T21:14:39Z) - Evaluation Drift in LLM Personality Induction: Are We Moving the Goalpost? [11.462572308067033]
我々は、長文のエッセイでそれらを微調整することで、大きな言語モデルにおけるパーソナリティを誘導する。
そして,IPIP-NEOアンケートを用いて,誘導的性格の安定性と忠実度を評価する。
論文 参考訳(メタデータ) (2026-05-16T13:44:06Z) - Addressing Personalized Bias for Unbiased Learning to Rank [56.663619153713434]
Unbiased Learning to rank (ULTR)は、バイアスのあるユーザの行動ログからバイアスのないランキングモデルを学ぶことを目的としている。
そこで本研究では,学習からランクへの目標値を求めるために,新しいユーザ認識逆確率スコア推定器を提案する。
論文 参考訳(メタデータ) (2025-08-28T14:01:31Z) - Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。
MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。
LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
論文 参考訳(メタデータ) (2025-06-12T08:47:40Z) - Eliciting Personality Traits in Large Language Models [0.0]
大規模言語モデル(LLM)は採用の文脈において、候補者と雇用主の両方が利用している。
本研究は,異なる入力プロンプトに基づいて,それらの出力変動を調べることによって,そのようなモデルをよりよく理解することを目的とする。
論文 参考訳(メタデータ) (2024-02-13T10:09:00Z) - What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。
このフィードバックの有効性を,文脈内学習を通じて評価する。
論文 参考訳(メタデータ) (2023-11-16T04:26:32Z) - Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning [67.33899440998175]
Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。
COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する
COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
論文 参考訳(メタデータ) (2023-11-14T18:48:27Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳(メタデータ) (2023-05-24T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。