論文の概要: Missing the Margins: A Systematic Literature Review on the Demographic Representativeness of LLMs

• arxiv url: http://arxiv.org/abs/2511.01864v1
• Date: Wed, 15 Oct 2025 09:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-09 16:58:40.040437
• Title: Missing the Margins: A Systematic Literature Review on the Demographic Representativeness of LLMs
• Title（参考訳）: マージンの欠落: LLMの民主的代表性に関する体系的文献レビュー
• Authors: Indira Sen, Marlene Lutz, Elisa Rogers, David Garcia, Markus Strohmaier,
• Abstract要約: 大規模言語モデル(LLM)の人口統計学的代表性に関する211の論文をレビューする。 研究の29%はLSMの代表性について肯定的な結論を報告しているが、そのうち30%はLSMを複数のカテゴリーで評価していない。 論文の3分の1以上が対象人口を定義していない。
• 参考スコア（独自算出の注目度）: 7.864491832722478
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many applications of Large Language Models (LLMs) require them to either simulate people or offer personalized functionality, making the demographic representativeness of LLMs crucial for equitable utility. At the same time, we know little about the extent to which these models actually reflect the demographic attributes and behaviors of certain groups or populations, with conflicting findings in empirical research. To shed light on this debate, we review 211 papers on the demographic representativeness of LLMs. We find that while 29% of the studies report positive conclusions on the representativeness of LLMs, 30% of these do not evaluate LLMs across multiple demographic categories or within demographic subcategories. Another 35% and 47% of the papers concluding positively fail to specify these subcategories altogether for gender and race, respectively. Of the articles that do report subcategories, fewer than half include marginalized groups in their study. Finally, more than a third of the papers do not define the target population to whom their findings apply; of those that do define it either implicitly or explicitly, a large majority study only the U.S. Taken together, our findings suggest an inflated perception of LLM representativeness in the broader community. We recommend more precise evaluation methods and comprehensive documentation of demographic attributes to ensure the responsible use of LLMs for social applications. Our annotated list of papers and analysis code is publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)の多くのアプリケーションでは、人をシミュレートするか、パーソナライズした機能を提供することが求められている。 同時に、これらのモデルが特定のグループや集団の人口特性や行動を実際にどの程度反映しているかはほとんど分かっていない。 本研究は, LLMの人口統計学的代表性に関する211の論文を概説する。 研究の29%はLSMの代表性について肯定的な結論を報告しているが、そのうち30%は複数のカテゴリー、または人口サブカテゴリでLSMを評価していない。 その他の35%と47%の論文は、それぞれ性別と人種の下位区分を指定できなかった。 サブカテゴリを報告している記事のうち、半分未満は研究に疎外されたグループを含んでいる。 最後に,研究論文の3分の1以上は,対象とする個体群を定義していないが,その内,暗黙的あるいは明示的に定義した個体群のうち,米国のみを対象とする大半の研究では,広いコミュニティにおけるLSM代表性に対する認識が膨らんでいることを示唆している。 社会アプリケーションにおけるLCMの責任ある利用を保証するため、より正確な評価手法と人口統計属性の包括的文書化を推奨する。 私たちの注釈付き論文と分析コードのリストが公開されています。

関連論文リスト

• Veracity Bias and Beyond: Uncovering LLMs' Hidden Beliefs in Problem-Solving Reasoning [4.452208564152158]
  人口統計学的ステレオタイプに対する人間の価値整合モデルとの整合性にもかかわらず、様々な社会的文脈下でバイアスを示すことが示されている。 帰属バイアス(Attribution Bias)は、特定の人口集団に対する正しい解を不均等に属性するものであり、評価バイアス(Access Bias)とは、同一の解に対するモデルの評価が、認識された人口集団の権威に基づいて異なるものである。 以上の結果から, 人口統計学的偏見は, 表面レベルのステレオタイプや社会的文脈的挑発を超えて, 教育・評価環境におけるLCMの展開に対する懸念が高まることが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T02:13:48Z)
• Evaluating how LLM annotations represent diverse views on contentious topics [3.405231040967506]
  生成型大規模言語モデル (LLM) は, 同一データセット内の同じ階層カテゴリーにおいて, 同一方向のバイアスを受ける傾向があることを示す。 自動データアノテーションタスクにLLMを用いた研究者や実践者にとっての意義について論じる。
  論文  参考訳（メタデータ） (2025-03-29T22:53:15Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。