論文の概要: Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation

• arxiv url: http://arxiv.org/abs/2509.06337v1
• Date: Mon, 08 Sep 2025 04:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.978753
• Title: Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation
• Title（参考訳）: バーチャルサーベイ応答としての大規模言語モデル:ソシオドモグラフィー応答生成の評価
• Authors: Jianpeng Zhao, Chenyu Yuan, Weiming Luo, Haoling Xie, Guangwei Zhang, Steven Jige Quan, Zixuan Yuan, Pengyang Wang, Denghui Zhang,
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。 部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。 LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
• 参考スコア（独自算出の注目度）: 18.225151370273093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Questionnaire-based surveys are foundational to social science research and public policymaking, yet traditional survey methods remain costly, time-consuming, and often limited in scale. This paper explores a new paradigm: simulating virtual survey respondents using Large Language Models (LLMs). We introduce two novel simulation settings, namely Partial Attribute Simulation (PAS) and Full Attribute Simulation (FAS), to systematically evaluate the ability of LLMs to generate accurate and demographically coherent responses. In PAS, the model predicts missing attributes based on partial respondent profiles, whereas FAS involves generating complete synthetic datasets under both zero-context and context-enhanced conditions. We curate a comprehensive benchmark suite, LLM-S^3 (Large Language Model-based Sociodemographic Survey Simulation), that spans 11 real-world public datasets across four sociological domains. Our evaluation of multiple mainstream LLMs (GPT-3.5/4 Turbo, LLaMA 3.0/3.1-8B) reveals consistent trends in prediction performance, highlights failure modes, and demonstrates how context and prompt design impact simulation fidelity. This work establishes a rigorous foundation for LLM-driven survey simulations, offering scalable and cost-effective tools for sociological research and policy evaluation. Our code and dataset are available at: https://github.com/dart-lab-research/LLM-S-Cube-Benchmark
• Abstract（参考訳）: アンケートに基づく調査は社会科学研究や公共政策作成の基礎となっているが、従来の調査手法は費用がかかり、時間がかかり、大規模に制限されることが多い。 本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。 本稿では, LLMの精度と人口動態の整合性を評価するため, 部分属性シミュレーション (PAS) と完全属性シミュレーション (FAS) という2つの新しいシミュレーション手法を提案する。 PASでは、このモデルは部分的な応答プロファイルに基づいて欠落した属性を予測するが、FASでは、ゼロコンテキストとコンテキスト強化の両方条件下で完全な合成データセットを生成する。 LLM-S^3 (Large Language Model-based Sociodemographic Survey Simulation) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。 マルチメインストリームLCM(GPT-3.5/4 Turbo, LLaMA 3.0/3.1-8B)の評価では, 予測性能が一貫した傾向を示した。 この研究は、LLMによる調査シミュレーションの厳格な基礎を確立し、社会学研究と政策評価のためのスケーラブルで費用対効果の高いツールを提供する。 私たちのコードとデータセットは、https://github.com/dart-lab-research/LLM-S-Cube-Benchmarkで公開されています。

関連論文リスト

• Can Large Language Models Simulate Human Responses? A Case Study of Stated Preference Experiments in the Context of Heating-related Choices [2.2582258282563763]
  ステートド・リセプション(SP)調査は、個人が仮説的、そして未来的シナリオでトレードオフを行う方法を研究するための重要な方法である。 高価で時間を要する傾向があり、応答性疲労や倫理的制約の影響を受けやすい。 本研究では,エネルギー関連調査における消費者選択をシミュレートするための大規模言語モデル (LLM) の利用について検討した。
  論文  参考訳（メタデータ） (2025-03-07T10:37:31Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• From Individual to Society: A Survey on Social Simulation Driven by Large Language Model-based Agents [47.935533238820334]
  伝統的な社会学研究は、しばしば人間の参加に頼っているが、それは効果的だが、高価であり、スケールが困難であり、倫理的な懸念がある。 大規模言語モデル(LLM)の最近の進歩は、人間の振る舞いをシミュレートし、個々の反応の複製を可能にし、多くの学際的な研究を容易にする可能性を強調している。 シミュレーションは,(1)特定の個人や人口集団を模倣する個人シミュレーション,(2)複数のエージェントが協調して特定の状況における目標を達成するシナリオシミュレーション,(3)エージェント社会内の相互作用をモデル化して実世界のダイナミクスの複雑さや多様性を反映するシミュレーション社会の3種類に分類される。
  論文  参考訳（メタデータ） (2024-12-04T18:56:37Z)
• GenSim: A General Social Simulation Platform with Large Language Model based Agents [111.00666003559324]
  我々はtextitGenSim と呼ばれる新しい大規模言語モデル (LLM) ベースのシミュレーションプラットフォームを提案する。 我々のプラットフォームは10万のエージェントをサポートし、現実世界のコンテキストで大規模人口をシミュレートする。 我々の知る限り、GenSimは汎用的で大規模で修正可能な社会シミュレーションプラットフォームに向けた最初の一歩である。
  論文  参考訳（メタデータ） (2024-10-06T05:02:23Z)
• Agentic Society: Merging skeleton from real world and texture from Large Language Model [4.740886789811429]
  本稿では,人口統計データと大規模言語モデルを利用して仮想人口を生成する新しい枠組みについて検討する。 本手法は,社会科学実験において,多様な人間の行動のシミュレーションに不可欠な多様性のあるペルソナを生産することを示す。 しかし, 評価結果から, 現在のLSMの能力に限界があるため, 統計的真理性の弱い兆候しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T08:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。