論文の概要: Out of Sight Out of Mind, Out of Sight Out of Mind: Measuring Bias in Language Models Against Overlooked Marginalized Groups in Regional Contexts

• arxiv url: http://arxiv.org/abs/2504.12767v1
• Date: Thu, 17 Apr 2025 09:05:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:37:17.473604
• Title: Out of Sight Out of Mind, Out of Sight Out of Mind: Measuring Bias in Language Models Against Overlooked Marginalized Groups in Regional Contexts
• Title（参考訳）: 視線外、視線外、視線外:視線外集団に対する言語モデルにおけるバイアスの測定
• Authors: Fatma Elsafoury, David Hartmann,
• Abstract要約: 我々は、言語モデル(LM)がマイノリティのバイアスやステレオタイプを形成し、これらのグループのメンバーの不公平な扱いにつながることを知っています。 エジプト、残りの21か国、ドイツ、イギリス、米国からの270の疎外化グループを対象に、23のLMにおける攻撃的ステレオタイピングバイアスを調査した。 また,非バイナリ,LGBTQIA+,黒人女性に対して高い交叉バイアスが認められた。
• 参考スコア（独自算出の注目度）: 6.829272097221596
• License:
• Abstract: We know that language models (LMs) form biases and stereotypes of minorities, leading to unfair treatments of members of these groups, thanks to research mainly in the US and the broader English-speaking world. As the negative behavior of these models has severe consequences for society and individuals, industry and academia are actively developing methods to reduce the bias in LMs. However, there are many under-represented groups and languages that have been overlooked so far. This includes marginalized groups that are specific to individual countries and regions in the English speaking and Western world, but crucially also almost all marginalized groups in the rest of the world. The UN estimates, that between 600 million to 1.2 billion people worldwide are members of marginalized groups and in need for special protection. If we want to develop inclusive LMs that work for everyone, we have to broaden our understanding to include overlooked marginalized groups and low-resource languages and dialects. In this work, we contribute to this effort with the first study investigating offensive stereotyping bias in 23 LMs for 270 marginalized groups from Egypt, the remaining 21 Arab countries, Germany, the UK, and the US. Additionally, we investigate the impact of low-resource languages and dialects on the study of bias in LMs, demonstrating the limitations of current bias metrics, as we measure significantly higher bias when using the Egyptian Arabic dialect versus Modern Standard Arabic. Our results show, LMs indeed show higher bias against many marginalized groups in comparison to dominant groups. However, this is not the case for Arabic LMs, where the bias is high against both marginalized and dominant groups in relation to religion and ethnicity. Our results also show higher intersectional bias against Non-binary, LGBTQIA+ and Black women.
• Abstract（参考訳）: 言語モデル(LM)がマイノリティのバイアスやステレオタイプを形成し、主にアメリカとイギリスで研究されていることから、これらのグループのメンバーの不公平な扱いにつながっていることは知っています。 これらのモデルの負の振る舞いは、社会や個人にとって深刻な結果をもたらすため、産業とアカデミアは、LMのバイアスを減らす手法を積極的に開発している。 しかし、これまで見過ごされてきた少数民族や言語が多数存在する。 これには、英語圏と西洋圏の個々の国や地域に特有な疎外化グループが含まれるが、世界の他の地域では、ほぼすべての疎外化グループも含まれている。 国連の推計では、世界の6億人から12億人は、差別化されたグループのメンバーであり、特別な保護を必要としている。 誰もが使える包括的LMを開発したいのであれば、見過ごされている疎外化グループや低リソース言語や方言を含むように、理解を広げなければなりません。 本研究は、エジプト、残りの21カ国、ドイツ、イギリス、米国から23 LMで270の疎外化グループに対して、攻撃的ステレオタイピングバイアスを調査し、この取り組みに貢献する。 さらに,低リソース言語と方言がLMのバイアス研究に与える影響について検討し,エジプト・アラビア方言と現代標準アラビア語を用いた場合のバイアスを著しく高めることから,現在のバイアス指標の限界を示す。 以上の結果から,LMは有意な群に比べて,多くの辺縁化群に対して高い偏見を示すことが明らかとなった。 しかし、アラビア語のLMでは、宗教や民族に関して、その偏見は、少数派と支配派の両方に対して高い。 また,非バイナリ,LGBTQIA+,黒人女性に対して高い交叉バイアスが認められた。

関連論文リスト

• LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education [6.354025374447606]
  パーソナライズされた教育環境において,大きな言語モデル(LLM)をバイアスとして評価する。 我々は、異なる人口集団に合わせた教育コンテンツをモデルが生成し、選択する方法について、重大なバイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-10-17T20:27:44Z)
• Persona Setting Pitfall: Persistent Outgroup Biases in Large Language Models Arising from Social Identity Adoption [10.35915254696156]
  その結果,外集団偏見は内集団傾向と同じくらい強く現れることがわかった。 我々の研究結果は、より公平でバランスの取れた言語モデルを開発する可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-09-05T18:08:47Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Protected group bias and stereotypes in Large Language Models [2.1122940074160357]
  本稿では,倫理と公正の領域におけるLarge Language Models(LLM)の振る舞いについて考察する。 マイノリティ化されたグループに偏見はありますが、特に性別やセクシュアリティの領域では、西洋の偏見も見られます。
  論文  参考訳（メタデータ） (2024-03-21T00:21:38Z)
• Large Language Models are Geographically Biased [47.88767211956144]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans [0.30723404270319693]
  大規模言語モデル(LLM)における新しい形式のバイアスについて検討する。 チャットGPTはアフリカ系アメリカ人、アジア系アメリカ人、ヒスパニック系アメリカ人を白人よりも同質であると表現した。 グループを多様性の低いリスクとして表現する傾向は、ステレオタイプや差別行動に永続する傾向があると論じる。
  論文  参考訳（メタデータ） (2024-01-16T16:52:00Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Indian-BhED: A Dataset for Measuring India-Centric Biases in Large Language Models [18.201326983938014]
  大規模言語モデル(LLM)は社会的バイアスを符号化し、ユーザを表現上の害に晒す。 本研究は,LLMにおけるステレオタイプバイアスを,そのタイプデータセットであるIndian-BhEDを用いて,インド中心のフレームに従って定量化する。 テストされたLLMの大多数は、インドの文脈でステレオタイプを出力する確率が強いことが判明した。
  論文  参考訳（メタデータ） (2023-09-15T17:38:41Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。