論文の概要: Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case

• arxiv url: http://arxiv.org/abs/2509.09871v1
• Date: Thu, 11 Sep 2025 21:43:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.934204
• Title: Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case
• Title（参考訳）: パブリックオピニオンをエミュレートする: チリにおけるAI生成合成サーベイ応答の実証
• Abstract要約: 大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。 チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) offer promising avenues for methodological and applied innovations in survey research by using synthetic respondents to emulate human answers and behaviour, potentially mitigating measurement and representation errors. However, the extent to which LLMs recover aggregate item distributions remains uncertain and downstream applications risk reproducing social stereotypes and biases inherited from training data. We evaluate the reliability of LLM-generated synthetic survey responses against ground-truth human responses from a Chilean public opinion probabilistic survey. Specifically, we benchmark 128 prompt-model-question triplets, generating 189,696 synthetic profiles, and pool performance metrics (i.e., accuracy, precision, recall, and F1-score) in a meta-analysis across 128 question-subsample pairs to test for biases along key sociodemographic dimensions. The evaluation spans OpenAI's GPT family and o-series reasoning models, as well as Llama and Qwen checkpoints. Three results stand out. First, synthetic responses achieve excellent performance on trust items (F1-score and accuracy > 0.90). Second, GPT-4o, GPT-4o-mini and Llama 4 Maverick perform comparably on this task. Third, synthetic-human alignment is highest among respondents aged 45-59. Overall, LLM-based synthetic samples approximate responses from a probabilistic sample, though with substantial item-level heterogeneity. Capturing the full nuance of public opinion remains challenging and requires careful calibration and additional distributional tests to ensure algorithmic fidelity and reduce errors.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、人間の答えと振る舞いをエミュレートし、測定と表現の誤りを緩和することで、調査研究における方法論的および応用的なイノベーションのための有望な道を提供する。 しかし、LCMが集積アイテムの分布を回復する程度は未定であり、下流のアプリケーションでは、トレーニングデータから受け継がれた社会的ステレオタイプやバイアスを再現するリスクがある。 チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。 具体的には,189,696個の合成プロファイルとプール性能指標(精度,精度,リコール,F1スコア)を128個の質問サブサンプルペアのメタアナリシスでベンチマークし,主要な社会デマンド次元に沿ったバイアスを判定する。 評価はOpenAIのGPTファミリーとOシリーズ推論モデル、LlamaとQwenチェックポイントにまたがる。 3つの結果が浮き彫りだ。 第一に、合成応答は信頼項目(F1スコア、精度=0.90)において優れた性能を達成する。 第2に、GPT-4o、GPT-4o-mini、Llama 4 Maverickがこのタスクで相容れない。 第3に、45～59歳層において、ヒトと人工のアライメントが最も高い。 全体として、LLMベースの合成サンプルは、相当なアイテムレベルの不均一性を持つが、確率的なサンプルからの反応を近似する。 世論の完全なニュアンスを捉えることは依然として困難であり、アルゴリズムの忠実性を確保し、エラーを減らすために、慎重な校正と追加の分散テストが必要である。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
  主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。 我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
  論文  参考訳（メタデータ） (2026-08-20T06:26:03Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data [4.855285839440204]
  人間の反応の小さなサンプルが与えられた場合、LLMはより広い人口の統計特性を回復できるだろうか? 我々は, 構造的忠実度, 限界的忠実度, 個人的忠実度という3つの軸に沿って, 回復を分解する。 この結果から, 小型試料の微調整は, 複数形態の忠実度を達成するためのバランスの取れたアプローチであるが, それらの忠実度はサブサンプルによって異なることが示唆され, 複数方向のアライメントを脅かす可能性がある。
  論文  参考訳（メタデータ） (2026-06-27T15:03:23Z)
• Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys [0.0]
  大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。 各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。 まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。 第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
  論文  参考訳（メタデータ） (2026-04-19T05:45:37Z)
• Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data [54.145424717168794]
  大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。 本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。 本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
  論文  参考訳（メタデータ） (2026-03-01T21:46:27Z)
• Stochastic Parrots or Singing in Harmony? Testing Five Leading LLMs for their Ability to Replicate a Human Survey with Synthetic Data [0.0]
  本稿では,シリコンバレーのプログラマ420名を対象にした人間対応サーベイと,実際のシークエンサーをシミュレートする合成サーベイデータの比較を行った。 以上の結果から,AIエージェントが予想以上に再現性と調和性を重視した技術的に妥当な結果を生み出したことが判明した。 本研究は, 厳密な調査手法の代わりに, より信頼性の高い前・後調査機器として, 総合的な調査に基づく研究を行なわなければならないと結論付けた。
  論文  参考訳（メタデータ） (2026-02-10T09:50:33Z)
• Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents [0.4277616907160855]
  我々は、ペルソナ条件のシミュレーションの影響を評価するために、米国のマイクロデータの大規模なデータセットを使用します。 その結果,ペルソナ・プロンプトはサーベイアライメントにおいて明確な総合的改善を得られず,多くの場合,性能が著しく低下することがわかった。 本研究は,現在のペルソナ・シミュレーション・プラクティスの重大な影響を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2026-02-06T15:13:59Z)
• Mitigating Social Desirability Bias in Random Silicon Sampling [3.6780694107792495]
  大規模言語モデル (LLMs) において, 最小, 心理的に基礎を置き, SDB (Social Desirability Bias) を緩和できるかどうかを検討する。 我々は,米国選挙研究会(ANES)のデータを用いて,2つのモデルファミリーの3つのLDMについて調査を行った。 以上の結果から,社会に受け入れられる回答の分布集中を減らし,アライメントを効果的に改善することが示唆された。
  論文  参考訳（メタデータ） (2025-12-27T23:21:32Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation [18.225151370273093]
  本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。 部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。 LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-08T04:59:00Z)
• Using Imperfect Synthetic Data in Downstream Inference Tasks [50.40949503799331]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を改善することができる。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Uncertainty Quantification for LLM-Based Survey Simulations [9.303339416902995]
  本研究では,大規模言語モデル(LLM)を用いて質問に対する人間の反応をシミュレートする。 提案手法は,不完全なLLMシミュレーション応答を集団パラメータの信頼セットに変換する。 重要な革新は、シミュレーションされたレスポンスの最適な数を決定することである。
  論文  参考訳（メタデータ） (2025-02-25T02:07:29Z)
• Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction [5.774786149181393]
  大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。 LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。 政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
  論文  参考訳（メタデータ） (2025-02-22T16:25:33Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。