論文の概要: Who Gets Counted? Large Language Models, Informative Refusal, and Downstream Bias in Name-Based Demographic Classification
- arxiv url: http://arxiv.org/abs/2611.06550v1
- Date: Wed, 04 Nov 2026 14:15:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.131163
- Title: Who Gets Counted? Large Language Models, Informative Refusal, and Downstream Bias in Name-Based Demographic Classification
- Title(参考訳): だれが数えられるか : 名前に基づくデモグラフィ分類における大言語モデル, インフォーマティブな拒絶, 下流バイアス
- Abstract要約: 大きな言語モデル (LLM) は、様々な名前のラベルが正確に付けられているため、治療として提案されている。
3つのLDMと7つの伝統的なツールを比較し、投票者のサンプルを政党登録と年齢にリンクする。
ハードレーベルは民主党登録の白黒格差を36%から65%に減らし、BISG後部でのBIRDiE推定は0.03以内である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Researchers routinely infer gender, race, and ethnicity from names, yet the standard tools used for this task misclassify the groups that diversity research most needs to measure. Large language models (LLMs) have been proposed as a remedy because they label diverse names accurately. We ask whether that accuracy carries over to the estimates researchers report. Across 10,000 Chinese names, 19,998 North Carolina voters with self-reported race, and 300 political science authors with human reference codes, we compare three LLMs with seven traditional tools and link the voter sample to party registration and age. Selective labeling explains part of the LLMs' accuracy advantage. Claude Haiku labels half of the voters, and a traditional tool limited to its most confident half is more accurate. Hard labels from every tool understate the White--Black gap in Democratic registration by 36% to 65%, while BIRDiE estimation on BISG posteriors comes within 0.03 of it. Haiku's missing labels select on age, inflating the age gap by six years. Combined with BISG, LLM answers sharpen individual labels without a demonstrated gain in BIRDiE accuracy. Classifiers should be judged by the estimates they produce, including the consequences of missing labels
- Abstract(参考訳): 研究者は、通常、名前から性別、人種、民族を推測するが、このタスクに使用される標準的なツールは、多様性研究が最も測定する必要があるグループを誤って分類する。
大きな言語モデル (LLM) は、様々な名前のラベルが正確に付けられているため、治療として提案されている。
我々は、その精度が研究者のレポートに続くかどうかを問う。
1万名以上の中国人の名前、ノースカロライナ州の有権者19,998名、および人の基準コードを持つ政治学の著者300名を対象に、3つのLDMと7つの伝統的なツールを比較し、有権者のサンプルを政党登録と年齢に結びつける。
選択的なラベル付けは、LLMの精度上の利点の一部を説明する。
クロード・ハイクは有権者の半数をラベル付けしており、最も自信のある半分に制限された伝統的な道具の方が正確である。
すべてのツールのハードラベルは、民主党登録の白黒ギャップを36%から65%に減らし、BISG後部でのBIRDiE推定は0.03未満である。
俳句の欠落したレーベルは年齢によって選び、年齢差は6歳に膨らませる。
BISGと組み合わせて、LLMの回答はBIRDiEの精度が顕著に向上することなく、個々のラベルを鋭くする。
分類器は、欠落ラベルの結果を含む、彼らが生成する推定値によって判断されるべきである。
関連論文リスト
- AI Alignment for Digital Democracy: Fairer Voters Representation against LLM Biases [1.7728238726806496]
大規模言語モデル(LLM)は、モデル、プロンプトコンテキスト、受信した有権者情報によって異なる振る舞いをする。
LLMをエミュレートした選挙人の人口統計バイアスを3回のアメリカ合衆国大統領選挙で調査した。
投票者プロファイルから性別を除去することで、モデルの最大のグループエラーを22~42%削減し、教育の除去により64%削減する一方、自己申告されたレースの削除は平均グループエラーを40%以上増加させる。
論文 参考訳(メタデータ) (2026-10-23T15:27:40Z) - Veracity labels flip the emotional tone of language models but leave racial disparities intact [1.585418692657445]
大規模言語モデル(LLM)はペルソナを通じて情報を提供するようになっている。
事実の正しさが、IDラベル間のフレーミングの一貫性を損なうかどうかは不明だ。
事実確認された偽の見出しと真偽の見出しに応答して4つのLCMを検査した。
論文 参考訳(メタデータ) (2026-10-08T18:26:43Z) - Probabilistic Race and Ethnicity Prediction Using Group-Specific Name Lists [0.0]
グループ固有名リストから校正群確率を導出するBISG(ell$BISG)手法を提案する。
本手法は、自記式人種、1900年国勢調査全数、レバノンの有権者登録簿で検証する。
論文 参考訳(メタデータ) (2026-10-05T13:05:58Z) - Large Language Models Naively Recover Ethnicity from Individual Records [0.0]
私は、大きな言語モデルがベイジアン改良名前ジオコーディング(BISG)よりも精度の高い名前から民族性を推測できることを示した。
フロリダとノースカロライナの投票者ファイルから、自己申告された人種の階層化されたサンプルを用いて、LLMベースの分類は84.7%の精度を達成している。
論文 参考訳(メタデータ) (2026-01-29T00:17:58Z) - Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する
実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。
教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
論文 参考訳(メタデータ) (2025-05-20T14:50:44Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - What's in a Name? Auditing Large Language Models for Race and Gender Bias [45.1187517058961]
我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。
このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
論文 参考訳(メタデータ) (2024-02-21T18:25:25Z) - Estimating Racial Disparities When Race is Not Observed [3.0931877196387196]
本稿では,人種間の格差を推定する新しいモデルについて,人種の指標変数として姓を用いて紹介する。
ノースカロライナの投票者ファイルに基づく検証調査では、BISG+BIRDiEは政党登録における人種的違いを推定した場合、エラーを最大84%削減している。
提案手法を適用し,米国内国歳入庁の個人レベルの税率データを用いて住宅ローン利子控除の恩恵を受ける者の人種差を推定する。
論文 参考訳(メタデータ) (2023-03-05T04:46:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。