論文の概要: Demographic Probing of Large Language Models Lacks Construct Validity

• arxiv url: http://arxiv.org/abs/2601.18486v1
• Date: Mon, 26 Jan 2026 13:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.849608
• Title: Demographic Probing of Large Language Models Lacks Construct Validity
• Title（参考訳）: 大規模言語モデルの復号化による妥当性構築
• Authors: Manuel Tonneau, Neil K. R. Seghal, Niyati Malhotra, Victor Orozco-Olvera, Ana María Muñoz Boudet, Lakshmi Subramanian, Sharath Chandra Guntuku, Valentin Hofmann,
• Abstract要約: 大規模言語モデルが人口統計特性にどのように適応するかを考察する。 このアプローチは通常、グループメンバーシップのシグナルとして、分離された単一の人口統計学的キューを使用する。 その結果、同じ人口集団を表現するための手がかりは、モデル行動に部分的に重なる変化しか生じないことがわかった。
• 参考スコア（独自算出の注目度）: 16.29607362682272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Demographic probing is widely used to study how large language models (LLMs) adapt their behavior to signaled demographic attributes. This approach typically uses a single demographic cue in isolation (e.g., a name or dialect) as a signal for group membership, implicitly assuming strong construct validity: that such cues are interchangeable operationalizations of the same underlying, demographically conditioned behavior. We test this assumption in realistic advice-seeking interactions, focusing on race and gender in a U.S. context. We find that cues intended to represent the same demographic group induce only partially overlapping changes in model behavior, while differentiation between groups within a given cue is weak and uneven. Consequently, estimated disparities are unstable, with both magnitude and direction varying across cues. We further show that these inconsistencies partly arise from variation in how strongly cues encode demographic attributes and from linguistic confounders that independently shape model behavior. Together, our findings suggest that demographic probing lacks construct validity: it does not yield a single, stable characterization of how LLMs condition on demographic information, which may reflect a misspecified or fragmented construct. We conclude by recommending the use of multiple, ecologically valid cues and explicit control of confounders to support more defensible claims about demographic effects in LLMs.
• Abstract（参考訳）: デモグラフィック探索は、大きな言語モデル(LLM)が人口統計特性にどのように適応するかを研究するために広く用いられている。 このアプローチは通常、グループメンバーシップのシグナルとして、単一の人口統計学的キュー(例えば、名前や方言)を使用し、強い構成的妥当性を暗黙的に仮定する。 我々は、この仮定を、アメリカの文脈における人種と性別に焦点をあてて、現実的なアドバイス-探索相互作用でテストする。 その結果、同じ人口集団を表すために意図された手がかりは、あるキュー内のグループ間の分化が弱く不均一であるのに対して、モデル行動の変化が部分的に重なるだけであることがわかった。 その結果、推定された格差は不安定であり、大きさも方向も様々である。 さらに、これらの矛盾は、人口統計学的属性をエンコードする方法の変動と、モデル行動を独立に形成する言語的共創者から生じるものであることも示している。 以上の結果から, 人口統計学は, 人口統計学の情報に対するLCMの条件がいかに不明確か, あるいは断片的な構成を反映しているかを, 単一の安定的な特徴として示さないことが示唆された。 我々は、LCMにおける人口動態に関するより確固たる主張を支援するために、複数の生態学的に有効な手がかりと、共同設立者の明示的な制御を使用することを推奨する。

関連論文リスト

• Who's Asking? Investigating Bias Through the Lens of Disability Framed Queries in LLMs [2.722784054643991]
  大規模言語モデル(LLM)は、ユーザの人口統計特性を、単独で推測する。 これらの推論を形作る際の障害の手がかりは、ほとんど未発見のままである。 そこで本研究では,障害条件による人口統計バイアスを,最先端の8つのLLMに対して,初めて体系的に評価した。
  論文  参考訳（メタデータ） (2025-08-18T21:03:09Z)
• Assessing the Reliability of LLMs Annotations in the Context of Demographic Bias and Model Explanation [5.907945985868999]
  本研究では,アノテータの人口統計学的特徴がテキストコンテンツと比較してラベル決定に与える影響について検討した。 一般化線形混合モデルを用いて、この差分率を定量化し、観測された分散のごく一部(8%)が人口統計因子であることを示した。 次に、ジェネレーティブAI(GenAI)モデルの信頼性をアノテータとして評価し、人口統計学的パーソナによる指導が人間の判断との整合性を改善するかどうかを具体的に評価する。
  論文  参考訳（メタデータ） (2025-07-17T14:00:13Z)
• Robustness and Confounders in the Demographic Alignment of LLMs with Human Perceptions of Offensiveness [10.194622474615462]
  大規模言語モデル(LLM)は人口統計学的バイアスを示すことが知られているが、複数のデータセットにまたがってこれらのバイアスを体系的に評価する研究は少ない。 以上の結果から、人口統計学的特徴、特に人種、影響のアライメントはデータセット間で矛盾し、しばしば他の要因と絡み合っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-13T19:08:23Z)
• Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
  DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。 偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
  論文  参考訳（メタデータ） (2024-03-14T15:58:36Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。