論文の概要: Total Simulated Survey Error: Designing and Diagnosing Survey Responses from Large Language Models

• arxiv url: http://arxiv.org/abs/2609.10280v1
• Date: Wed, 09 Sep 2026 14:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.071324
• Title: Total Simulated Survey Error: Designing and Diagnosing Survey Responses from Large Language Models
• Title（参考訳）: 総シュミレーション・サーベイ・エラー:大規模言語モデルによるサーベイ・レスポンスの設計と診断
• Abstract要約: 大規模言語モデル(LLM)は、膨大な量の人為的なデータに基づいて訓練されている。 LLMは、さまざまな状況における人々をシミュレートする上で、人間のようなパターンを模倣することを約束している。 そのような文脈の1つは、LLMを「シリコンサンプル」、すなわち、世論、デザインポリシー、あるいは(社会的な)科学的データとして使うために調査質問に答える人々のプロキシとして使うことである。
• 参考スコア（独自算出の注目度）: 6.18279552770494
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language models (LLMs), having been trained on vast amounts of human-generated data, may encode the attitudes and behaviors of these humans. As such, LLMs show promise in mimicking human-like patterns that facilitate their use in simulating people in a wide variety of contexts. One such context is using LLMs as 'silicon samples', i.e., proxies of people in answering survey questions to establish public opinion, design policies, or use as (social) scientific data. However, several critical questions of social biases, generalization, and technical limitations remain, further complicated by a vast design space open to simulation designers. Multiverse analyses might help us make sense of the impact of different design choices, however, we lack a systematic understanding of the design space of LLM-generated surveys as well as how these decisions interplay with inherent LLM limitations. Therefore, how do we systematically identify, trace, and document limitations in LLM-generated survey responses? Building on traditions in the quantitative social sciences, specifically survey methodology and measurement theory, we investigate threats to the validity of LLM-generated survey responses. To do so, we design a framework that enumerates conceptual errors and systematic biases that can occur at different stages of the survey simulation lifecycle. Our framework, called the Total Simulated Survey Error (TS2E) Framework, provides a unified and end-to-end perspective on LLM-generated survey data. The framework, illustrated through a theoretical and empirical case study, enables survey simulation designers to systematically identify and reflect on errors in LLM-generated surveys.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、膨大な量の人間が生成したデータに基づいて訓練されており、これらの人間の態度や振る舞いをコード化することができる。 そのため、LLMは人間のようなパターンを模倣し、様々な状況下での人々のシミュレートに役立てることを約束している。 そのような文脈の1つは、LCMを「シリコンサンプル」として、すなわち、世論、デザインポリシー、あるいは(社会的な)科学的データとして使うために調査質問に答える人々のプロキシとして使うことである。 しかし、社会バイアス、一般化、技術的な制限に関するいくつかの重要な疑問は、シミュレーションデザイナーに開放された広大なデザイン空間によってさらに複雑である。 マルチバース分析は、異なる設計選択の影響を理解するのに役立つかもしれませんが、LLM生成サーベイの設計空間と、これらの決定が固有のLLM制限とどのように相互作用するかの体系的な理解が欠如しています。 したがって、LCMによる調査回答の限界を体系的に識別し、追跡し、文書化するにはどうすればよいか。 定量的社会科学,特に調査方法論と測定理論の伝統を基礎として,LSMによる調査結果の妥当性に対する脅威を調査する。 そこで我々は,調査シミュレーションのライフサイクルの異なる段階で発生する概念的誤りと体系的バイアスを列挙するフレームワークを設計する。 我々のフレームワークは、TS2E(Total Simulated Survey Error)フレームワークと呼ばれ、LLMの生成したサーベイデータに対する統一的でエンドツーエンドの視点を提供する。 このフレームワークは、理論的および実証的なケーススタディを通じて説明され、LLM生成サーベイにおけるエラーを体系的に識別し、反映することができる。

関連論文リスト

• Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data [54.145424717168794]
  大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。 本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。 本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
  論文  参考訳（メタデータ） (2026-03-01T21:46:27Z)
• Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility [7.616305266104683]
  大規模言語モデル (LLM) は、計算社会科学における人間の判断のためのプロキシとして、ますます使われている。 LLMを模擬した調査の回答者が、誤情報信念と共有の人間のパターンを再現できるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-02-04T15:48:05Z)
• An Analysis of Large Language Models for Simulating User Responses in Surveys [8.614942349812429]
  ユーザ意見をシミュレートするためにLarge Language Modelsを使用することが注目されている。 LLMは、支配的な視点に対する偏見を示すことで知られており、多様な人口統計学的、文化的背景からユーザーを表現する能力に対する懸念を提起している。
  論文  参考訳（メタデータ） (2025-12-07T15:03:09Z)
• Population-Aligned Persona Generation for LLM-based Social Simulation [58.84363795421489]
  本稿では,社会シミュレーションのための高品質な集団対応ペルソナ集合を合成するための体系的枠組みを提案する。 我々のアプローチは、長期のソーシャルメディアデータから物語的ペルソナを生成するために、大きな言語モデルを活用することから始まる。 特定のシミュレーションコンテキストのニーズに対処するために,対象のサブポピュレーションに対してグローバルに整合したペルソナを適応させるタスク固有モジュールを提案する。
  論文  参考訳（メタデータ） (2025-09-12T10:43:47Z)
• Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation [18.225151370273093]
  本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。 部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。 LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-08T04:59:00Z)
• Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy [5.92971970173011]
  本稿では,世論データを合成する大規模言語モデルについて検討する。 応答率の低下や非応答バイアスといった従来の調査手法の課題に対処する。 本稿では,知識注入に基づく役割創出という新しい手法を紹介する。
  論文  参考訳（メタデータ） (2025-03-31T21:21:52Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing [0.0]
  統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。 また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Mirrorの概念についても紹介する。 PLS-SEM分析の結果, LLMはヒトの反応に一致し, LLMはヒトの反応を再現し, LLM-Mirror反応はヒトの反応に密接に従っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T09:39:56Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations [61.9212914612875]
  本研究では,LLMシミュレーションを4次元(コンテキスト,モデル,ペルソナ,トピック)で特徴付けるフレームワークを提案する。 我々は,この枠組みを用いて,オープンエンドLLMシミュレーションのキャラクチュアへの感受性を測定する。 GPT-4では、特定の人口動態(政治的・疎外化グループ)と話題(一般には非論争的)のシミュレーションは、似顔絵に非常に敏感であることが判明した。
  論文  参考訳（メタデータ） (2023-10-17T18:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。