論文の概要: Population Fidelity: Evaluating Population Representativeness in LLMs

• arxiv url: http://arxiv.org/abs/2609.36253v1
• Date: Mon, 28 Sep 2026 20:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.009051
• Title: Population Fidelity: Evaluating Population Representativeness in LLMs
• Title（参考訳）: 人口密度:LLMにおける人口代表性の評価
• Abstract要約: 大規模言語モデル(LLM)の評価フレームワークであるPopulation Fidelityを紹介する。 グループレベルの精度、グループ間の変動の量、そしてその変動の構造の3つの次元が組み込まれている。 我々は、人口の表現には、同時に人間の位置変化のいくつかの特徴を再現するモデルが必要であると論じる。
• 参考スコア（独自算出の注目度）: 4.391268456243618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) show considerable potential in simulating human attitudes and preferences. Prior work finds that LLM-generated responses can compress the range of attitudes found within populations and misrepresent particular subgroups in ways that vary across models and topics. We introduce Population Fidelity, an evaluation framework that distinguishes key conditions required for a set of LLM-generated responses to represent a population. It incorporates three dimensions: group-level accuracy, the amount of between-group variation, and the structure of that variation. We demonstrate the framework's utility in two ways. First, we reproduce a prior study of "machine bias" in LLM survey responses and apply the framework to its models and more recent ones, showing that poor representation reflects not only insufficient between-group variation but also variation assigned to the wrong groups. Second, we evaluate one proposed approach to improving models' population representativeness: cultural fine-tuning. We find that cultural fine-tuning can improve alignment with the survey center without improving the representation of within-population differences, a distinction that measures of aggregate agreement do not capture. We argue that representing a population requires models to reproduce several features of human attitudinal variation simultaneously. Our framework organizes these features and provides reusable code, data, and trained models for evaluating population fidelity across substantive domains and assessing proposed alignment methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は人間の態度や嗜好をシミュレートする大きな可能性を示している。 以前の研究では、LCMが生成する応答は、集団内で見られる態度の範囲を圧縮し、モデルやトピックによって異なる方法で特定のサブグループを誤って表現できることがわかった。 本稿では,LLM生成応答の集合に必要な重要な条件を識別し,集団を表すための評価フレームワークであるPopulation Fidelityを紹介する。 グループレベルの精度、グループ間の変動の量、そしてその変動の構造の3つの次元が組み込まれている。 フレームワークの実用性を2つの方法で示す。 まず,LLM調査における「機械バイアス」の先行研究を再現し,その枠組みをモデルや近年のモデルに適用した。 第2に,モデルの人口代表性を改善するための1つのアプローチとして,文化的な微調整について検討する。 文化的な微調整は,人口内差の表現を改善することなく,調査センターとの整合性を向上させることができる。 我々は、人口の表現には、同時に人間の位置変化のいくつかの特徴を再現するモデルが必要であると論じる。 我々のフレームワークはこれらの機能を整理し、再利用可能なコード、データ、訓練されたモデルを提供し、実体領域間の人口密度を評価し、提案したアライメント手法を評価する。

関連論文リスト

• Improving Cross-Cultural Survey Simulation with Calibrated Value Personas [2.5964189305343712]
  大規模言語モデル(LLM)は、人間の意見や調査回答をシミュレートするためにますます使われているが、文化全体にわたって人口反応を再現する能力は限られている。 本稿では,中核的な文化的側面を捉えた調査結果からテキスト記述子を導出する価値に基づくペルソナ構築手法を提案する。 提案手法は, 人口密度の低い国において, 予測誤差を低減し, 最大の改善点を示す。
  論文  参考訳（メタデータ） (2026-05-15T17:10:50Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs [13.630995219491972]
  本稿では,アライメントモデルの代表性を評価するためのフレームワークを提案する。 2つのモデルステアリング手法を比較し,評価手法の価値を示す。 私たちは、代表性は価値アライメントの別の側面である、と結論付けます。
  論文  参考訳（メタデータ） (2026-01-22T08:45:55Z)
• MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework [53.82097200295448]
  MF-LLM(Mean-Field LLM)は,まず平均場理論を社会シミュレーションに取り入れる。 MF-LLMは反復過程を通じて個人と人口間の双方向相互作用をモデル化する。 IB-Tuneは、Information Bottleneckの原理にインスパイアされた、新しい微調整手法である。
  論文  参考訳（メタデータ） (2025-04-30T12:41:51Z)
• One fish, two fish, but not the whole sea: Alignment reduces language models' conceptual diversity [2.5975241792179378]
  研究者は大規模言語モデル(LLM)を人間の行動研究の代替として使用することを提案した。 トレーニング後のアライメント(RLHFまたはRLAIF)がモデルの内部多様性に影響を及ぼすかどうかが議論されている。 我々は、シミュレーションされた個体の内部変動と集団レベルの変動を関連づけることで、合成合成LLMの「人口」の概念的多様性を測定する新しい方法を用いる。
  論文  参考訳（メタデータ） (2024-11-07T04:38:58Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
  本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。 特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
  論文  参考訳（メタデータ） (2024-03-29T15:58:46Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。