Fugu-MT 論文翻訳(概要): Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents

論文の概要: Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents

arxiv url: http://arxiv.org/abs/2608.14606v1
Date: Mon, 06 Jul 2026 17:11:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.231638
Title: Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents
Title（参考訳）: 可算だが正当ではない:合成調査によるLCMの心理学的監査
Abstract要約: 大規模言語モデル (LLMs) が総合調査の回答者としてますます利用されているが、既存の評価では、個々のレベルでの回答が妥当かどうかが疑問視されている。 LLMは、実際の人間の調査データの関節分布、潜伏構造、信頼性、媒介経路、人口動態を保存しているか? 私たちは、OpenAI、Histropic、Google、および12のオープンウェイトファミリーに37モデルのラインナップを実際の応答性プロファイルに設定します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are increasingly used as synthetic survey respondents, but existing evaluations ask whether answers look plausible at the individual level. We argue the right question is psychometric: do LLMs preserve the joint distribution, latent structure, reliability, mediation pathways, and demographic effects of real human survey data? We introduce a Lithuanian organisational-psychology dataset (n=263 employees; Dunham Attitudes Toward Change, UWES-17, Koopmans IWPQ; 68 items, 12 subscales) and condition a 37-model lineup spanning OpenAI, Anthropic, Google, and twelve open-weight families on real respondent profiles under a five-level persona-disclosure ladder, presentation and reasoning-effort ablations, counterfactual demographic swaps (gender, role, education), a cross-language check, and a verbatim-recall memorization probe. The resulting Psychometric Similarity Score (PSS) is anchored against five non-LLM statistical baselines and a held-out human-vs-human ceiling, with respondent-bootstrap confidence intervals and an item-permutation null for Tucker's phi. LLMs reproduce the qualitative direction of human psychometric relationships, but a Gaussian-copula baseline beats every LLM on the sample-driven PSS components; the LLM "crowd" is more similar to itself (mean inter-LLM PSS 0.73) than to humans; and memorization does not drive the leaderboard (recall-PSS rank correlation 0.00). Counterfactual swaps reveal education-driven effects (mean |d|=0.56) that dwarf gender (0.12) and role (0.18); Tucker's phi on UWES falls inside the permutation null for 8 of 37 models. Downstream, every LLM shows a strong acquiescence shift (+0.84 SD), synthetic-trained regressors lose predictive validity on held-out humans (mean R^2 -0.18 vs 0.28), and models fabricate indirect effects on 3 of 10 placebo mediation paths. LLM samples are not a drop-in replacement for human survey data.
Abstract（参考訳）: 大規模言語モデル (LLMs) が総合調査の回答者としてますます利用されているが、既存の評価では、個々のレベルでの回答が妥当かどうかが疑問視されている。 LLMは、実際の人間の調査データの関節分布、潜伏構造、信頼性、媒介経路、人口動態を保存しているか? リトアニアの組織心理学データセット(n=263従業員、Dunham Attitudes Toward Change, UWES-17, Koopmans IWPQ, 68アイテム、12サブスケール)と,OpenAI, Anthropic, Google, and 12のオープンウェイト家族を対象とした37モデルラインナップを,5段階の人格開示はしご,プレゼンテーションと推論の回避,反ファクト的な人口統計スワップ(ジェンダー,役割,教育),クロスランゲージチェック,および暗黙の記憶プローブを用いて導入した。結果として得られる心理的類似度スコア(PSS)は、5つの非LLM統計ベースラインと人間のvs天井に固定され、応答型ブートストラップの信頼区間とタッカーのフィに対するアイテム置換ヌルがある。 LLMは人間の心理測定関係の定性的方向を再現するが、ガウス-コピュラ基底線はサンプル駆動PSS成分の全てのLSMを打ち負かす; LLMの「crowd」は人間よりも人間に近い(単にLLM間PSS 0.73);記憶はリーダーボードを駆動しない(リコール-PSSランク相関0.00)。カウンターファクトスワップは教育による効果(平均 |d|=0.56)で、小性(0.12)と役割(0.18)が示され、UWES上のタッカーのフィは37モデル中8モデルにおいて置換ヌルの中に収まる。下流では、各LSMは強いアクセプションシフト(+0.84 SD)を示し、合成訓練された回帰器は保持されたヒト(平均R^2-0.18 vs 0.28)の予測正当性を失い、10個のプラセボ媒介経路のうち3つに間接的な効果が生じる。 LLMサンプルは人間の調査データに取って代わるものではない。

論文の概要: Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents

関連論文リスト