論文の概要: Missing the Margins: A Systematic Literature Review on the Demographic Representativeness of LLMs

• arxiv url: http://arxiv.org/abs/2511.01864v1
• Date: Wed, 15 Oct 2025 09:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-09 16:58:40.040437
• Title: Missing the Margins: A Systematic Literature Review on the Demographic Representativeness of LLMs
• Title（参考訳）: マージンの欠落: LLMの民主的代表性に関する体系的文献レビュー
• Authors: Indira Sen, Marlene Lutz, Elisa Rogers, David Garcia, Markus Strohmaier,
• Abstract要約: 大規模言語モデル(LLM)の人口統計学的代表性に関する211の論文をレビューする。 研究の29%はLSMの代表性について肯定的な結論を報告しているが、そのうち30%はLSMを複数のカテゴリーで評価していない。 論文の3分の1以上が対象人口を定義していない。
• 参考スコア（独自算出の注目度）: 7.864491832722478
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many applications of Large Language Models (LLMs) require them to either simulate people or offer personalized functionality, making the demographic representativeness of LLMs crucial for equitable utility. At the same time, we know little about the extent to which these models actually reflect the demographic attributes and behaviors of certain groups or populations, with conflicting findings in empirical research. To shed light on this debate, we review 211 papers on the demographic representativeness of LLMs. We find that while 29% of the studies report positive conclusions on the representativeness of LLMs, 30% of these do not evaluate LLMs across multiple demographic categories or within demographic subcategories. Another 35% and 47% of the papers concluding positively fail to specify these subcategories altogether for gender and race, respectively. Of the articles that do report subcategories, fewer than half include marginalized groups in their study. Finally, more than a third of the papers do not define the target population to whom their findings apply; of those that do define it either implicitly or explicitly, a large majority study only the U.S. Taken together, our findings suggest an inflated perception of LLM representativeness in the broader community. We recommend more precise evaluation methods and comprehensive documentation of demographic attributes to ensure the responsible use of LLMs for social applications. Our annotated list of papers and analysis code is publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)の多くのアプリケーションでは、人をシミュレートするか、パーソナライズした機能を提供することが求められている。 同時に、これらのモデルが特定のグループや集団の人口特性や行動を実際にどの程度反映しているかはほとんど分かっていない。 本研究は, LLMの人口統計学的代表性に関する211の論文を概説する。 研究の29%はLSMの代表性について肯定的な結論を報告しているが、そのうち30%は複数のカテゴリー、または人口サブカテゴリでLSMを評価していない。 その他の35%と47%の論文は、それぞれ性別と人種の下位区分を指定できなかった。 サブカテゴリを報告している記事のうち、半分未満は研究に疎外されたグループを含んでいる。 最後に,研究論文の3分の1以上は,対象とする個体群を定義していないが,その内,暗黙的あるいは明示的に定義した個体群のうち,米国のみを対象とする大半の研究では,広いコミュニティにおけるLSM代表性に対する認識が膨らんでいることを示唆している。 社会アプリケーションにおけるLCMの責任ある利用を保証するため、より正確な評価手法と人口統計属性の包括的文書化を推奨する。 私たちの注釈付き論文と分析コードのリストが公開されています。

関連論文リスト

• PapersPlease: A Benchmark for Evaluating Motivational Values of Large Language Models Based on ERG Theory [24.290880164707122]
  大規模言語モデルの意思決定を調査するために設計された,3700のモラルジレンマからなるベンチマークであるPapersPleaseを紹介する。 この設定では,LPMは,人々の短い物語に基づいて入国を承認するか拒否するかを決定する移民検査官として機能する。 6つのLCMを統計的に分析した結果,LSMが暗黙の嗜好を符号化していることが示唆された。
  論文  参考訳（メタデータ） (2025-06-27T07:09:11Z)
• Veracity Bias and Beyond: Uncovering LLMs' Hidden Beliefs in Problem-Solving Reasoning [4.452208564152158]
  人口統計学的ステレオタイプに対する人間の価値整合モデルとの整合性にもかかわらず、様々な社会的文脈下でバイアスを示すことが示されている。 帰属バイアス(Attribution Bias)は、特定の人口集団に対する正しい解を不均等に属性するものであり、評価バイアス(Access Bias)とは、同一の解に対するモデルの評価が、認識された人口集団の権威に基づいて異なるものである。 以上の結果から, 人口統計学的偏見は, 表面レベルのステレオタイプや社会的文脈的挑発を超えて, 教育・評価環境におけるLCMの展開に対する懸念が高まることが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T02:13:48Z)
• Evaluating how LLM annotations represent diverse views on contentious topics [3.405231040967506]
  生成型大規模言語モデル (LLM) は, 同一データセット内の同じ階層カテゴリーにおいて, 同一方向のバイアスを受ける傾向があることを示す。 自動データアノテーションタスクにLLMを用いた研究者や実践者にとっての意義について論じる。
  論文  参考訳（メタデータ） (2025-03-29T22:53:15Z)
• Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study [23.458234676060716]
  本研究では,大規模言語モデル(LLM)のアルゴリズム的忠実度について検討する。 我々は、人口動態の特徴をペルソナのプロンプトに組み込むことで、ドイツのサブポピュレーションを反映した合成世論を生成するよう、異なるLLMに促す。 以上の結果から,Llama は他の LLM よりも,特にグループ内での意見の多様性が低い場合には,サブポピュレーションの表現に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-17T18:46:32Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。