論文の概要: Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

• arxiv url: http://arxiv.org/abs/2603.13891v1
• Date: Sat, 14 Mar 2026 10:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.469862
• Title: Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation
• Title（参考訳）: テキストアノテーションに用いる大言語モデルによるラシアルステレオタイプの再生成
• Authors: Petter Törnberg,
• Abstract要約: テキストに微妙なアイデンティティの手がかりが、人種的ステレオタイプを反映する方法で、体系的に偏見アノテーションの結果に埋め込まれていることが示される。 名前に基づく実験では、黒人個人に関連付けられた名前を含むテキストは、19モデル中18モデルより攻撃的であると評価され、19モデル中18モデルよりゴシップが多いと評価されている。 アラブ人の名は、対人的評価とともに認知の高揚を招き、全ての4つの少数民族は一貫して、より独学的でないと評価されている。 特筆すべき例外は、名前に基づく雇用力であり、微調整は過度に正しく、体系的に少数派の名前の応募者を好んでいるように見える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for automated text annotation in tasks ranging from academic research to content moderation and hiring. Across 19 LLMs and two experiments totaling more than 4 million annotation judgments, we show that subtle identity cues embedded in text systematically bias annotation outcomes in ways that mirror racial stereotypes. In a names-based experiment spanning 39 annotation tasks, texts containing names associated with Black individuals are rated as more aggressive by 18 of 19 models and more gossipy by 18 of 19. Asian names produce a bamboo-ceiling profile: 17 of 19 models rate individuals as more intelligent, while 18 of 19 rate them as less confident and less sociable. Arab names elicit cognitive elevation alongside interpersonal devaluation, and all four minority groups are consistently rated as less self-disciplined. In a matched dialect experiment, the same sentence is judged significantly less professional (all 19 models, mean gap $-0.774$), less indicative of an educated speaker ($-0.688$), more toxic (18/19), and more angry (19/19) when written in African American Vernacular English rather than Standard American English. A notable exception occurs for name-based hireability, where fine-tuning appears to overcorrect, systematically favoring minority-named applicants. These findings suggest that using LLMs as automated annotators can embed socially patterned biases directly into the datasets and measurements that increasingly underpin research, governance, and decision-making.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、学術研究からコンテンツモデレーション、雇用に至るまでのタスクにおいて、自動化されたテキストアノテーションにますます使われている。 19のLSMと2つの実験で、400万以上のアノテーション判定が行なわれており、テキストに微妙なアイデンティティの手がかりが、人種的ステレオタイプを反映する方法で、体系的にバイアスアジェクションの結果に埋め込まれていることが示されている。 39のアノテーションタスクにまたがる名前に基づく実験では、黒人個人に関連する名前を含むテキストは、19モデル中18モデルより攻撃的であり、19モデル中18モデルよりゴシピックであると評価されている。 19モデル中17モデルでは個人をより知能に評価し、19モデル中18モデルでは自信が弱く社交性が低いと評価している。 アラブ人の名は、対人的評価とともに認知の高揚を招き、全ての4つの少数民族は一貫して、より独学的でないと評価されている。 一致した方言実験において、同じ文は、標準アメリカ英語よりもアフリカ系アメリカ人の英語で書かれた場合(すべての19モデル、平均ギャップ$-0.774$)、教育を受けた話者(-0.688$)、より有毒(18/19)、より怒った(19/19)と判断される。 特筆すべき例外は、名前に基づく雇用力であり、微調整は過度に正しく、体系的に少数派の名前の応募者を好んでいるように見える。 これらの結果は、自動アノテータとしてLLMを使用することで、研究、ガバナンス、意思決定の基盤となっているデータセットや測定に直接、社会的にパターン化されたバイアスを埋め込むことができることを示唆している。

関連論文リスト

• Small Changes, Big Impact: Demographic Bias in LLM-Based Hiring Through Subtle Sociocultural Markers in Anonymised Resumes [44.408853022070105]
  シンガポールにおける公正雇用のための総合的なストレステストフレームワークを紹介する。 100の履歴書は4つの民族と2つの性別にまたがる4100の変種に拡張されている。 以上より,匿名化を継続する無害なマーカーが,自動採用の成果を著しく損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-05T13:58:07Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• What's in a Name? Auditing Large Language Models for Race and Gender Bias [45.1187517058961]
  我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。 このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T18:25:25Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。