論文の概要: Silicon sampling answers with country-level assumptions, not individual attitudes: Cross-national evidence from the European Social Survey
- arxiv url: http://arxiv.org/abs/2609.16395v1
- Date: Mon, 14 Sep 2026 22:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.253531
- Title: Silicon sampling answers with country-level assumptions, not individual attitudes: Cross-national evidence from the European Social Survey
- Title(参考訳): シリコンは個人的態度ではなく国レベルの仮定で答えをサンプリングする:欧州社会調査による国際的証拠
- Abstract要約: シリコンサンプリングは、調査回答者をシミュレートするために、大きな言語モデル(LLM)を使用する。
本研究は、欧州社会調査第11回(30か国、42か国)に対して評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Silicon sampling uses large language models (LLMs) to simulate survey respondents. Whether it recovers cross-national variation, and why, remains unresolved. This study evaluates it against European Social Survey Round 11 (30 countries, 42 items) with two open-weight LLMs under first- and third-person prompts, plus backstory and response-format experiments. Aggregate recovery is moderate and uneven across items. Adding the country name to a three-variable demographic backstory raises the median per-item correlation between simulated and observed country means from -0.03 to 0.52, and the richer profiles tested add no consistent gain. The respondent's country label acts as a country-level assumption that respondent detail does not revise. Naming the response-scale endpoints in words stops the model from ranking countries backwards, so the answer format sets the direction of the ranking. Individual-level recovery remains negligible in every condition and does not track aggregate recovery across countries. An average of neighboring countries, using no LLM, recovers country levels more accurately than every model condition and ranks them about as well. Silicon sampling can thus support exploratory country-ranking comparison after item-level validation and with the response format reported. It does not support individual or distributional inference.
- Abstract(参考訳): シリコンサンプリングは、調査回答者をシミュレートするために、大きな言語モデル(LLM)を使用する。
国家間の変動を回復するか、なぜかは未解決のままである。
本研究は,欧州社会調査第11回(30か国,42か国)において,第1・第3のプロンプトと第3のプロンプトによる2つのオープンウェイトLDMと,バックストーリーおよび応答形式実験とを比較した。
集合的回復は適度であり、アイテム全体にわたって不均一である。
3変数の人口背景に国名を追加すると、シミュレートされた国と観測された国の間には平均的な平均的な相関が-0.03から0.52に上昇し、テストされたより豊かなプロファイルは、一貫した利得を与えない。
応答者の国名ラベルは、応答者の詳細が修正されないという国レベルの仮定として機能する。
応答スケールのエンドポイントを単語で命名すると、ランキング国から下位へのモデルが停止するので、回答形式はランキングの方向を設定する。
個々のレベルリカバリは、すべての状態において無視できないままであり、各国の総合リカバリを追跡できない。
LLMを使用しない近隣諸国の平均は、すべてのモデル条件よりも正確に国レベルを回復し、それらをランク付けする。
シリコンサンプリングは、アイテムレベルの検証と応答形式を報告した後に、探索的国別比較をサポートすることができる。
個々の推論や分布推論はサポートしていない。
関連論文リスト
- Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。
Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
論文 参考訳(メタデータ) (2026-09-12T06:28:11Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳(メタデータ) (2026-09-07T10:22:22Z) - PLURAL: A Global Dataset for Value Alignment [22.242529854078708]
大規模な言語モデル (LLM) は世界中で使われているが、西洋の価値観を不均等に反映し、多様な価値システムを表現する能力を制限する。
92カ国にまたがる全国的な調査であるIntegrated Values Survey (IVS)において,大規模で価値を重視した嗜好データセットであるPLURALを紹介した。
本研究では, 2段階生成パイプラインを用いて, 現実的なシナリオを生成しながら, 基準値信号を保存するために, サーベイ応答を合成選好三重項に変換する。
論文 参考訳(メタデータ) (2026-07-09T01:18:17Z) - Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。
既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。
FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
論文 参考訳(メタデータ) (2026-06-01T17:01:31Z) - The Global Representativeness Index: A Total Variation Distance Framework for Measuring Demographic Fidelity in Survey Research [0.0]
調査研究は、AIガバナンスと異文化間政策における高い意思決定をますます通知する。
標準化されたメートル法は、サンプルの人口構成が対象の個体数とどの程度よく一致しているかを定量化するものではない。
本稿では,全変動距離に基づくGRI(Global Representativeness Index)を提案する。
論文 参考訳(メタデータ) (2026-02-16T15:26:52Z) - On the Credibility of Evaluating LLMs using Survey Questions [0.42061757959666934]
近年,大規模言語モデル(LLM)の価値指向を適応型社会調査を用いて評価している。
本稿では, 正確な設定に依存して, 値配向の類似性を過小評価し, 過度に見積もることの限界を明らかにする。
5か国3ヶ国における世界価値調査(World Value Survey)を用いて、直接対思考の連鎖(direct vs. chain-of-thinkt)と復号戦略(greedy vs. sample)が結果に有意な影響を及ぼすことを示した。
論文 参考訳(メタデータ) (2026-02-03T21:45:43Z) - Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。
テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。
予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
論文 参考訳(メタデータ) (2025-02-10T21:59:27Z) - Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-07-11T16:51:33Z) - Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。
我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。
GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
論文 参考訳(メタデータ) (2024-07-11T14:52:18Z) - Towards Measuring the Representation of Subjective Global Opinions in Language Models [26.999751306332165]
大規模言語モデル(LLM)は、社会問題に関する多様なグローバルな視点を公平に表すものではない。
本研究では,どの意見がモデル生成応答に類似しているかを定量的に評価する枠組みを開発する。
他者が使用して構築するためのデータセットをリリースしています。
論文 参考訳(メタデータ) (2023-06-28T17:31:53Z) - Questioning the Survey Responses of Large Language Models [25.14481433176348]
我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,この方法論を批判的に検討する。
まず、モデルの応答は、例えば"A"という文字でラベル付けされた調査応答に対するバイアスの順序付けとラベル付けによって制御される。
第二に、ランダム化された回答順序付けによってこれらの体系的バイアスを調整するとき、ボード全体のモデルが一様ランダムなアンケート応答に向かう傾向にある。
論文 参考訳(メタデータ) (2023-06-13T17:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。