論文の概要: Can Open-Weight Large Language Models (LLMs) Simulate Human Survey Populations? A Cross-Instrument Calibration Study

• arxiv url: http://arxiv.org/abs/2609.32638v1
• Date: Sat, 26 Sep 2026 14:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:44:45.998705
• Title: Can Open-Weight Large Language Models (LLMs) Simulate Human Survey Populations? A Cross-Instrument Calibration Study
• Title（参考訳）: オープンウェイト大言語モデル(LLM)は人間の調査人口をシミュレートできるか?
• Abstract要約: 大規模言語モデル (LLMs) は、実際の人々の総合的な調査回答者とデジタル双生児を生成するために、ますます使われている。 クロス・インストラクション・キャリブレーション・タスクにおいて,3つのオープンウェイトLLMファミリーを評価した。 139対の格子を横切ると、シミュレーションされたクロス構造相関は、すべてのモデルにおいて実際の人間相関を0.70 - 0.73で追跡する。
• 参考スコア（独自算出の注目度）: 1.0074242190366551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to generate synthetic survey respondents and digital twins of real people, but whether their output preserves real human statistical structure, rather than surface plausibility, remains unresolved, and most existing evidence comes from proprietary models rather than open-weight ones. We evaluate three open-weight LLM families on a cross-instrument calibration task: conditioning personas on real respondents' verbatim answers to one psychometric instrument and measuring them on a second, construct-distance-controlled instrument, checked against a 2,058-person human panel. Across a 139-pair grid, the simulated cross-instrument correlation tracks the real human correlation at r = 0.70 - 0.73 in every model, driven mainly by correct sign rather than precise magnitude and concentrated in pairs of moderate construct distance. A correlation of this magnitude, obtained from untuned open-weight models conditioned only on individual-level survey data, is a substantively encouraging result for LLM-based behavioral simulation and digital-twin applications: specific model families and releases already reproduce a meaningful share of real human cross-instrument structure without any fine-tuning. This capability does not, however, improve monotonically across model releases: on a matched panel, the newest of three tested Llama releases performs worst on two of three headline metrics, so realizing its promise in practice requires release-specific, distance-aware verification rather than a one-time benchmark.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、現実人の人工的な調査の回答者やデジタル双生児を生成するためにますます使われているが、その出力が表面の可視性よりも実際の人間の統計構造を保存するかどうかは未解決のままであり、既存の証拠のほとんどはオープンウェイトではなくプロプライエタリなモデルに由来するものである。 我々は,3つのオープンウェイトLLMファミリーを,2,058人の人体パネルで検証し,実際の回答者の動詞の回答を1つの心理測定器に条件付けし,第2の構成距離制御装置で測定するクロスストラクチャ・キャリブレーション・タスクで評価した。 139対の格子を横切ると、シミュレーションされたクロス・ストラクチャーメント・相関は、すべてのモデルにおいて実際の人間相関をr = 0.70 - 0.73で追跡する。 個人レベルの調査データにのみ適用された未修正オープンウェイトモデルから得られるこの大きさの相関は、LCMに基づく行動シミュレーションとデジタルツインアプリケーションに対して、実質的に奨励的な結果である:特定のモデルファミリとリリースは、微調整なしで、実際の人間のクロスストラクチャ構造の有意義なシェアをすでに再現している。 一致するパネルでは、3つのテスト済みのLlamaリリースの最新版が3つの見出しのメトリクスのうち2つで最悪となるので、実際にその約束を実現するには、1回のベンチマークではなく、リリース固有の距離対応の検証が必要である。

関連論文リスト

• Understanding Reliability in LLM-based Human Behavior Simulation [11.785307940274135]
  大規模言語モデル(LLM)は、人間の調査反応と行動反応をシミュレートするためにますます使われている。 LLMに基づく人間行動シミュレーションを3つの構造層に分解するReliMapを提案する。 すべてのモデルがプロファイル条件を伴わずにかなりの分布バイアスを示すことがわかった。
  論文  参考訳（メタデータ） (2026-09-16T10:10:10Z)
• When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses [4.327699139300454]
  大規模言語モデル(LLMs)は、製品、ポリシー、市場決定をシミュレートした人間の回答に対するスタンドインとして、合成ユーザとしてますます使われています。 この置換が有効なのか、いつ失敗したのかを問うとともに、インテリジェントな合成ユーザシステムの評価フレームワークとしてその答えをパッケージ化する。 2つのファミリーにまたがる4つのモデルと8B-to-frontier機能の範囲で実行される単一のプロトコルは、実際のヒューマンレスポンスデータの2つの独立したドメインに適用される。 すべてのモデルは、ホールドアウトされた人間のデータに適合する非LLMベースラインのスイートに対してベンチマークされる。
  論文  参考訳（メタデータ） (2026-07-28T23:43:00Z)
• Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
  大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。 スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
  論文  参考訳（メタデータ） (2026-07-02T17:30:38Z)
• In Silico Development of Psychometric Scales: Feasibility of Representative Population Data Simulation with LLMs [0.5833117322405447]
  心理測定尺度の開発には、大きなサンプル、複数のテストフェーズ、実質的なリソースが必要である。 大規模言語モデル(LLM)の最近の進歩は、合成参加者データの生成を可能にする。 LLMシミュレーションデータセットが人間の反応の潜伏構造と測定特性を再現できるかどうかを検証した。
  論文  参考訳（メタデータ） (2025-12-02T16:26:17Z)
• Chatting Up Attachment: Using LLMs to Predict Adult Bonds [0.0]
  GPT-4とClaude 3 Opusを使用して、さまざまなプロファイル、子供時代の記憶、アタッチメントスタイルを持つ大人をシミュレートするエージェントを作成します。 我々は,同一の面接プロトコルを施行し,精神保健専門家によって分析・ラベル付けされた9人のヒトの転写データセットを用いて,我々のモデルを評価した。 以上の結果から,合成データのみを用いたモデルトレーニングは,人間のデータを用いたモデルトレーニングに匹敵する性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2024-08-31T04:29:19Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [71.04084063541777]
  ランク付けのためのカウンターファクトラーニングはIRコミュニティで広く注目を集めている。 モデルは、ユーザの振る舞いの仮定が正しく、確率推定が正確であるときに理論的に非バイアス化される。 それらの有効性は通常シミュレーションベースの実験を通じて実証的に評価されるが、これは広く利用可能な大規模で実際のクリックログが不足しているためである。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Chain-of-Thought Unfaithfulness as Disguised Accuracy [0.0]
  CoT(Chain-of-Thought)世代は、大きな言語モデルの内部計算(LLM)と一致している。 モデルが回答を生成するためのCoTへの依存度を測定する指標を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:23:53Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。