論文の概要: Do LLMs Reproduce the Age Gap in Loneliness? Evaluating Survey Simulation against European Survey Data
- arxiv url: http://arxiv.org/abs/2610.25158v1
- Date: Sun, 18 Oct 2026 10:31:08 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:45:17.382699
- Title: Do LLMs Reproduce the Age Gap in Loneliness? Evaluating Survey Simulation against European Survey Data
- Title(参考訳): LLMは孤独の年齢ギャップを再現するか? : 欧州調査データに対する調査シミュレーションの評価
- Abstract要約: 我々は2022年のEU孤独調査を用いて、大言語モデルが孤独の国内年齢差を再現するかどうかを検証した。
年齢情報と非年齢情報を用いたシミュレーションと,確率に基づくサンプルに対する直接分布推定を行った。
- 参考スコア(独自算出の注目度): 1.042733720689638
- License:
- Abstract: Large language models (LLMs) are often used to simulate survey respondents, but matching survey averages does not establish accurate demographic differences. We test whether LLM outputs reproduce within-country age gaps in loneliness using the 2022 EU Loneliness Survey, comparing adults aged 18-34 and 65 or older in France, Italy, Poland, and Sweden. We evaluate simulation with and without age information and direct distribution estimation against a probability-based sample, with a non-probability sensitivity reference. Both human samples show higher mean loneliness among younger adults. Under age-specified simulation with standard response-option order, Mistral Small 4 and GPT-5.6 Terra reverse this ordering under all three prompt framings in three and two countries, respectively, mainly by overestimating older-adult means. DeepSeek V4 Flash preserves the ordering everywhere but underestimates both group means, with errors largely cancelling in France and Italy. Against the probability-based reference, direct estimation has lower absolute age-gap error than simulation for Mistral and Terra in every country. For DeepSeek, simulation has lower gap error but direct estimation has lower group-mean error; these comparisons depend on low-validity older-adult simulation cells. Evaluating LLM outputs as proxies for age groups within countries therefore requires checking both group means and their contrast against human survey data.
- Abstract(参考訳): 大規模言語モデル(LLM)は、調査回答者をシミュレートするためにしばしば使用されるが、一致する調査平均は正確な人口統計差を定めていない。
2022 EU Loneliness Surveyを用いて、フランス、イタリア、ポーランド、スウェーデンの成人18-34歳以上と比較し、LCM出力が孤独な国内年齢差を再現するかどうかを検証した。
非確率感度基準を用いて,年齢情報を用いたシミュレーションと,確率に基づくサンプルに対する直接分布推定を行った。
どちらのヒトサンプルも、若年層の平均孤独度が高い。
Mistral Small 4 と GPT-5.6 Terra はこの順序を3か国と2か国でそれぞれ3つのプロンプトフレーミングで逆転させ、主に高齢化の手段を過大評価している。
DeepSeek V4 Flashは、あらゆる場所で注文を保存しているが、どちらのグループも意味を過小評価しており、エラーの大部分はフランスとイタリアでキャンセルされている。
確率に基づく基準に対して、直接推定は各国のミストラルとテラのシミュレーションよりも絶対年齢差の誤差が低い。
DeepSeekでは、シミュレーションはギャップ誤差が低いが、直接推定はグループ平均誤差が低い。
LLMのアウトプットを、各国の年齢層のプロキシとして評価するには、グループ平均と、人間の調査データとの対比の両方を確認する必要がある。
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳(メタデータ) (2026-09-07T10:22:22Z) - Can Large Language Models Represent Urban Publics? Behavioral Replication and Population Mismatch in an Affordable-Housing Experiment [1.7984459258809926]
大規模言語モデルでは,集団構造の維持に失敗しながら,1つの集合コントラストを近似することができることを示す。
都市計画におけるモデル評価は、この空間構造と社会構造が、平均的な効果だけでなくシミュレーションを生き残るかどうかを検証すべきである。
論文 参考訳(メタデータ) (2026-07-29T16:27:36Z) - Distributional Validity and Calibration of a Korean Synthetic Persona Panel for Digital and AI Service Use: A Secondary-Data Validation Against the Korea Media Panel Survey [0.0]
本研究は、ジェミニ3.5フラッシュとEXAONE(比較)に調和した韓国の合成ペルソナパネルの評価である。
1モデル当たりの性別・年齢層別パネルは約8000枚が調査項目に回答し、重み付けされた調査結果と比較された。
エラーはモデル固有のシグネチャ、すなわちアンカーが低い年齢ステレオタイプとアクセプションと一貫性のあるレベルバイアスに追従した。
論文 参考訳(メタデータ) (2026-07-23T15:32:20Z) - Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data [4.855285839440204]
人間の反応の小さなサンプルが与えられた場合、LLMはより広い人口の統計特性を回復できるだろうか?
我々は, 構造的忠実度, 限界的忠実度, 個人的忠実度という3つの軸に沿って, 回復を分解する。
この結果から, 小型試料の微調整は, 複数形態の忠実度を達成するためのバランスの取れたアプローチであるが, それらの忠実度はサブサンプルによって異なることが示唆され, 複数方向のアライメントを脅かす可能性がある。
論文 参考訳(メタデータ) (2026-06-27T15:03:23Z) - Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。
モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
論文 参考訳(メタデータ) (2026-04-14T15:06:13Z) - Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。
テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。
予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
論文 参考訳(メタデータ) (2025-02-10T21:59:27Z) - The Generation Gap: Exploring Age Bias in the Value Systems of Large Language Models [26.485974783643464]
特に米国人口と比較して,若年層に対するLLM(Large Language Models)値の一般的な傾向を見出した。
一般的な傾きは観察できるが、若いグループに対するこの傾きは、異なる値のカテゴリで異なることが判明した。
論文 参考訳(メタデータ) (2024-04-12T18:36:20Z) - "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。
NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。
本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
論文 参考訳(メタデータ) (2023-12-18T17:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。