論文の概要: Probable but Not Valid: A Psychometric Audit of Decision Models as Synthetic Survey Respondents

• arxiv url: http://arxiv.org/abs/2610.14912v1
• Date: Sat, 10 Oct 2026 13:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.13005
• Title: Probable but Not Valid: A Psychometric Audit of Decision Models as Synthetic Survey Respondents
• Title（参考訳）: 疑わしいが正当ではない: 総合調査による意思決定モデルの心理学的監査
• Abstract要約: 決定モデルは、テキストの代わりに評価尺度の各点の確率を返す新しい言語モデルである。 我々は、これらのモデル、または最新のジェネレーティブLLMが、精神測定調査でヒトの回答者に有効かどうかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are increasingly used to create synthetic survey samples, also called silicon samples. Decision models are a new class of language models that return a probability for each point of a rating scale instead of text. We ask whether these models, or the newest generative LLMs, can stand in for human respondents on a psychometric survey. We test fourteen decision models from eleven providers and 47 generative LLMs on an open Lithuanian organisational-psychology survey (n=263, 68 items), with 100 real respondent profiles, the Psychometric Similarity Score (PSS) and statistical baselines. The best generative model, MiniMax M3, reaches PSS 0.813. This is level with a Gaussian copula fit only on other respondents (0.824) and below a copula fit in sample (0.927). A second sample of 100 real people scores below the best models, so at this size PSS cannot rank them against real respondents. In 5 of 10 product lines the newest generative release scores below an earlier release of the same line beyond resampling noise, and none gains beyond it. With the default rounded readout, 13 of 14 decision models score below the generative reference gpt-5.4-mini. Of the 47 generative models, 33 reproduce the pattern of item correlations better than any decision model. Averaged over respondents, the probability vectors are much closer to the human item marginals than rounded answers. They also rank respondents about as well as a profile regression fit on 163 real people. As forecasts of each person's own answers, however, every decision model is worse than the answer frequencies of other respondents, mainly because its average vector differs from them. The profile regression improves on these frequencies by only 1.0%, so the profile fields say little about how a person answers. Synthetic respondents built on such profiles should therefore aim at sample-level fidelity.
• Abstract（参考訳）: 言語モデルは、シリコンサンプルとも呼ばれる合成サーベイサンプルを作成するために、ますます使われている。 決定モデルは、テキストの代わりに評価尺度の各点の確率を返す新しい言語モデルである。 我々は、これらのモデル、または最新のジェネレーティブLLMが、精神測定調査でヒトの回答者に有効かどうかを問う。 我々は、リトアニアのオープンな組織心理学調査(n=263, 68項目)において、11のプロバイダと47のジェネレーティブLCMから14の意思決定モデルをテストする。 最も優れた生成モデルであるMiniMax M3はPSS 0.813に達する。 これは、ガウスのコプラが他の回答者(0.824)にのみ適合し、サンプル(0.927)の下に収まるレベルである。 2つ目のサンプルでは、100人の実際の人がベストモデルよりも低いスコアを付けているため、このサイズでは、PSSは実際の回答者に対してそれらをランク付けできない。 10製品のうち5製品ラインでは、最新の生成的リリーススコアは、ノイズを再サンプリングする以上の、同じラインの以前のリリースよりも低く、それ以上の利益は得られない。 デフォルトのラウンドアウトでは、14のモデルのうち13が生成参照gpt-5.4-mini以下である。 47の生成モデルのうち33は、どの決定モデルよりも良い項目相関パターンを再現する。 回答者よりも平均的に、確率ベクトルは丸みを帯びた答えよりも人間の項目の限界に近い。 また、回答者のランク付けや、実際の163人に合ったプロフィールのレグレッションも行っている。 しかし,各自の回答の予測では,平均ベクトルが他者と異なるため,各決定モデルは他の回答者の回答周波数よりも悪い。 プロファイル回帰は、これらの周波数を1.0%改善するので、プロファイルフィールドは、人がどう答えるかについてほとんど語らない。 このようなプロファイル上に構築された合成回答者は、サンプルレベルの忠実度を目標とすべきである。

関連論文リスト

• Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark [0.0]
  大規模言語モデル (LLM) は、パイロットテストの合成回答者として提案されている。 高い内部整合性は、LLM応答が人間のパイロットデータを置き換えるには不十分な証拠である。
  論文  参考訳（メタデータ） (2026-09-10T13:50:24Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents [0.0]
  大規模言語モデル (LLMs) が総合調査の回答者としてますます利用されているが、既存の評価では、個々のレベルでの回答が妥当かどうかが疑問視されている。 LLMは、実際の人間の調査データの関節分布、潜伏構造、信頼性、媒介経路、人口動態を保存しているか? 私たちは、OpenAI、Histropic、Google、および12のオープンウェイトファミリーに37モデルのラインナップを実際の応答性プロファイルに設定します。
  論文  参考訳（メタデータ） (2026-07-06T17:11:16Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case [0.0]
  大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。 チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
  論文  参考訳（メタデータ） (2025-09-11T21:43:59Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• MixCE: Training Autoregressive Language Models by Mixing Forward and Reverse Cross-Entropies [80.82897149158853]
  自己回帰言語モデルは、データ分布Pに対するモデル分布Qのクロスエントロピーを最小化することにより訓練される。 我々は,前と逆のクロスエントロピーを混合する目的であるMixCEを用いた学習を提案する。 その結果,複雑な復号化戦略を使わずに,より優れた生成テキストが得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-26T14:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。