論文の概要: From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs
- arxiv url: http://arxiv.org/abs/2611.02585v1
- Date: Mon, 02 Nov 2026 06:11:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.568858
- Title: From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs
- Title(参考訳): 言語から国へ:LLMにおけるステレオタイプバイアスの多言語監査
- Abstract要約: 我々は、英語、スペイン語、フランス語、ドイツ語の12,000件のReddit投稿を用いて、性別、人種、宗教的偏見を調査した。
宗教はあらゆるモデル言語の状態において最も絶対的な選択の不均衡を持つ。
オーストラリアやメキシコの文脈はカナダやスペインの状況を上回る。
- 参考スコア(独自算出の注目度): 2.637320570919346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly considered for education, recruitment, workplace decision support, and other consequential applications, making pre-deployment social-bias detection essential. Yet major benchmarks are English-centred or translated, focus mainly on negative stereotypes, and may miss linguistic and cultural variation. We investigate gender, racial, and religious bias using 12,000 locally written Reddit posts in English, Spanish, French, and German. Only search terms are translated, preserving local context. The dataset is balanced by language and category; English gender is additionally balanced by stereotype valence. Three open-weight and three proprietary API-based models are evaluated with a two-blank design that reduces grammatical-gender cues. Religion has the highest absolute choice imbalance in every model-language condition. Spanish is highest for gender, whereas German is highest for race and religion. The evaluated API models score below the open-weight models throughout. Negative English-gender items exceed positive items; Australian and Mexican contexts exceed their Canadian and Spanish counterparts. These descriptive differences measure choice concentration, not stereotype endorsement or causal country effects. The crossed patterns show how aggregate scores can conceal category- and context-specific behaviour, motivating closer inspection before deployment.
- Abstract(参考訳): 大規模言語モデル (LLM) は、教育、採用、職場での意思決定支援、そしてそれに続く応用のためにますます検討され、社会バイアスの事前発見が不可欠である。
しかし、主要なベンチマークは英語や翻訳であり、主に否定的なステレオタイプに焦点を当てており、言語や文化の変化を見逃している可能性がある。
我々は、英語、スペイン語、フランス語、ドイツ語の12,000件のReddit投稿を用いて、性別、人種、宗教的偏見を調査した。
検索語のみが翻訳され、ローカルコンテキストを保存する。
データセットは言語とカテゴリーによってバランスがとられ、英語の性別はステレオタイプ価によってバランスがとれる。
3つのオープンウェイトと3つのプロプライエタリなAPIベースのモデルは、2ブランク設計で評価される。
宗教はあらゆるモデル言語の状態において最も絶対的な選択の不均衡を持つ。
スペイン語は性別が最高、ドイツ語は人種と宗教が最高である。
評価されたAPIモデルは、全体のオープンウェイトモデルよりも低いスコアである。
オーストラリアやメキシコの文脈はカナダやスペインの状況を上回る。
これらの記述的差異は選択濃度を測り、ステレオタイプや因果国の影響を測るものではない。
横断的なパターンは、アグリゲーションスコアがカテゴリやコンテキスト固有の振る舞いを隠蔽し、デプロイ前により深いインスペクションを動機付ける方法を示している。
関連論文リスト
- Evaluating and Mitigating Anti-LGBTQ Biases in German and Multilingual Language Models [1.3965477771846408]
本稿では,言語モデルにおける反LGBTQバイアス評価のための多言語ドイツ語-英語ベンチマークデータセットを提案する。
ドイツ語話者のクィア人からのコミュニティソースのステレオタイプと、ドイツ語訳のWinoQueerを組み合わせたものである。
結果から, 言語モデルは, 同一性やモデルによって異なる反クイアステレオタイプを再現することがわかった。
論文 参考訳(メタデータ) (2026-08-31T14:42:36Z) - EuroGEST: Investigating gender stereotypes in multilingual language models [58.871032460235575]
EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。
すべての言語で最強のステレオタイプは、女性が「美」、「共感」、そして「否定」であり、男性は「リーダー」、「強く、タフ」、そして「職業的」であることを示している。
論文 参考訳(メタデータ) (2025-06-04T11:58:18Z) - Breaking Language Barriers or Reinforcing Bias? A Study of Gender and Racial Disparities in Multilingual Contrastive Vision Language Models [28.944990804599893]
M-CLIP, NLLB-CLIP, CAPIVARA-CLIP, and the debiased SigLIP-2。
人種と性別の偏見を定量化し、ステレオタイプ増幅を測定する。
論文 参考訳(メタデータ) (2025-05-20T10:14:00Z) - Are Models Biased on Text without Gender-related Language? [14.931375031931386]
ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。
USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。
28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
論文 参考訳(メタデータ) (2024-05-01T15:51:15Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-01-29T12:02:28Z) - Gender Lost In Translation: How Bridging The Gap Between Languages
Affects Gender Bias in Zero-Shot Multilingual Translation [12.376309678270275]
並列データが利用できない言語間のギャップを埋めることは、多言語NTTの性別バイアスに影響を与える。
本研究では, 言語に依存しない隠蔽表現が, ジェンダーの保存能力に及ぼす影響について検討した。
言語に依存しない表現は、ゼロショットモデルの男性バイアスを緩和し、ブリッジ言語におけるジェンダーインフレクションのレベルが増加し、話者関連性合意に対するより公平なジェンダー保存に関するゼロショット翻訳を超越することがわかった。
論文 参考訳(メタデータ) (2023-05-26T13:51:50Z) - Comparing Biases and the Impact of Multilingual Training across Multiple
Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。
我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。
以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文 参考訳(メタデータ) (2023-05-18T18:15:07Z) - Quantifying Gender Bias Towards Politicians in Cross-Lingual Language
Models [104.41668491794974]
代名詞として政治家の名前を取り巻く言語モデルによって生成される形容詞と動詞の用法を定量化する。
死者や指定された言葉が男女の政治家と関連しているのに対し、美人や離婚といった特定の言葉が主に女性政治家に関係していることが判明した。
論文 参考訳(メタデータ) (2021-04-15T15:03:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。