論文の概要: Item-Mean Surrogates: Why Richer Persona Data Fail to Improve LLMs as Human Surrogates

• arxiv url: http://arxiv.org/abs/2608.29455v1
• Date: Sat, 29 Aug 2026 22:17:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.972044
• Title: Item-Mean Surrogates: Why Richer Persona Data Fail to Improve LLMs as Human Surrogates
• Title（参考訳）: アイテム平均サロゲート:人間サロゲートとしてのLCMを改善するために、よりリッチなペルソナデータが失敗した理由
• Abstract要約: LLMは、よりリッチなペルソナデータによって、特定の個人のための代替品や探索ツールになる、という前提のもとに、人間のサロゲートとして使われることが多い。 この前提を、40万人以上の参加者と6000以上の調査項目と実験結果をカバーする4つのデータセットで検証する。
• 参考スコア（独自算出の注目度）: 7.9874548866057795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are increasingly used as human surrogates, often on the premise that richer persona data could make them substitutes or exploratory tools for specific individuals. We test this premise across four datasets covering more than 400,000 participants and more than 6,000 survey items and experimental outcomes. LLMs perform well at the aggregate level: their average responses closely align with average human responses to the same items. But this success largely reflects predicting each item's average human response. Once each item's human mean is removed, LLM predictions explain only 3.05% of the remaining respondent-specific variation, far below the 53.6% human test-retest benchmark. Richer personas, model variants, and fine-tuning do not close this gap. In variance analyses, once item means are removed, the reliable remaining signal is person-by-item. It captures how a respondent departs from the mean on a particular item and is about 8.9x larger than the stable person effect. Persona data encode the respondent, but not this item-specific deviation. LLM responses also compress human response distributions, using less spread, fewer response categories, and distorted distributional shapes. We call this pattern item-mean surrogacy. Current LLM surrogates can approximate item averages, but not the distributions or respondent-specific deviations needed to replace individual humans. We propose four empirical tests for LLM-based human-surrogate claims.
• Abstract（参考訳）: LLMは、よりリッチなペルソナデータによって、特定の個人のための代替品や探索ツールになる、という前提のもとに、人間のサロゲートとして使われることが多い。 この前提を、40万人以上の参加者と6000以上の調査項目と実験結果をカバーする4つのデータセットで検証する。 平均的な反応は、同じ項目に対する平均的な人間の反応と密接に一致している。 しかし、この成功は、各項目の平均的な人間の反応を予測することを主に反映している。 各項目の人的平均が取り除かれた後、LCMの予測では残りの応答性特異的な変動の3.05%しか説明されず、これは53.6%の人的テスト-テストベンチマークよりはるかに低い。 よりリッチなペルソナ、モデル変種、微調整は、このギャップを埋めない。 ばらつき解析では、アイテム手段が除去されると、信頼できる残信号が個人単位となる。 反応体が特定のアイテムの平均からどのように出発するかを捉え、安定人効果の約8.9倍の大きさである。 ペルソナデータは応答者をエンコードするが、このアイテム固有の偏差はない。 LLM応答はまた、人間の応答分布を圧縮し、スプレッドを減らし、応答カテゴリを減らし、分散形状を歪ませた。 私たちはこのパターンをアイテムサロガシーと呼んでいる。 現在のLLMサロゲートはアイテム平均を近似することができるが、個々の人間を置き換えるのに必要な分布や応答性特異的な偏差は含まない。 LLMに基づくヒューマンサロゲートクレームの実証試験を4回提案する。

関連論文リスト

• Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level [8.995779634140495]
  韓国のインスタントヌードル購入における非公益消費者選択実験を用いて,2010年調査の再現性を評価した。 我々は、平均レベル、パターン、分布アライメントにおける人間とLLMの反応を比較し、人間のデータのみからの基準ベースラインと比較した。
  論文  参考訳（メタデータ） (2026-06-08T04:22:15Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents [0.4277616907160855]
  我々は、ペルソナ条件のシミュレーションの影響を評価するために、米国のマイクロデータの大規模なデータセットを使用します。 その結果,ペルソナ・プロンプトはサーベイアライメントにおいて明確な総合的改善を得られず,多くの場合,性能が著しく低下することがわかった。 本研究は,現在のペルソナ・シミュレーション・プラクティスの重大な影響を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2026-02-06T15:13:59Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
  本研究では,大言語モデル(LLM)における性別バイアスについて検討する。 我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
  論文  参考訳（メタデータ） (2024-11-20T22:43:18Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning [67.33899440998175]
  Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。 COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
  論文  参考訳（メタデータ） (2023-11-14T18:48:27Z)
• Challenging the Validity of Personality Tests for Large Language Models [2.9123921488295768]
  大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞う。 人格検査に対するLLMの反応は、人間の反応から体系的に逸脱する。
  論文  参考訳（メタデータ） (2023-11-09T11:54:01Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。