論文の概要: EuroGEST: Investigating gender stereotypes in multilingual language models

• arxiv url: http://arxiv.org/abs/2506.03867v1
• Date: Wed, 04 Jun 2025 11:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.310227
• Title: EuroGEST: Investigating gender stereotypes in multilingual language models
• Title（参考訳）: EuroGEST:多言語言語モデルにおけるジェンダーステレオタイプの調査
• Authors: Jacqueline Rowe, Mateusz Klimaszewski, Liane Guillou, Shannon Vallor, Alexandra Birch,
• Abstract要約: 大規模言語モデルはますます複数の言語をサポートするようになったが、ほとんどのベンチマークは英語中心のままである。 EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。
• 参考スコア（独自算出の注目度）: 53.88459905621724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly support multiple languages, yet most benchmarks for gender bias remain English-centric. We introduce EuroGEST, a dataset designed to measure gender-stereotypical reasoning in LLMs across English and 29 European languages. EuroGEST builds on an existing expert-informed benchmark covering 16 gender stereotypes, expanded in this work using translation tools, quality estimation metrics, and morphological heuristics. Human evaluations confirm that our data generation method results in high accuracy of both translations and gender labels across languages. We use EuroGEST to evaluate 24 multilingual language models from six model families, demonstrating that the strongest stereotypes in all models across all languages are that women are \textit{beautiful,} \textit{empathetic} and \textit{neat} and men are \textit{leaders}, \textit{strong, tough} and \textit{professional}. We also show that larger models encode gendered stereotypes more strongly and that instruction finetuning does not consistently reduce gendered stereotypes. Our work highlights the need for more multilingual studies of fairness in LLMs and offers scalable methods and resources to audit gender bias across languages.
• Abstract（参考訳）: 大規模言語モデルはますます複数の言語をサポートするようになったが、ほとんどのベンチマークは英語中心のままである。 EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。 EuroGESTは16のジェンダーステレオタイプをカバーする既存の専門家インフォームドベンチマークに基づいて構築されており、翻訳ツール、品質推定メトリクス、形態学的ヒューリスティックスを用いてこの研究を拡張している。 人間の評価により、我々のデータ生成手法は、言語間での翻訳と性別ラベルの精度が高いことが確認される。 我々はEuroGESTを用いて、6つのモデルファミリーから24の多言語言語モデルを評価し、すべての言語で最強のステレオタイプは、女性が \textit{beautiful,} \textit{empathetic} と \textit{neat} であり、男性は \textit{leaders} 、 \textit{strong, tough} 、 \textit{professional} であることを示した。 また、より大型のモデルではジェンダーステレオタイプがより強くエンコードされ、命令の微調整によりジェンダーステレオタイプが一貫して減少しないことを示す。 我々の研究は、LLMにおける公平性に関するより多言語的な研究の必要性を強調し、言語間の性バイアスを評価するためのスケーラブルな方法とリソースを提供する。

関連論文リスト

• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  テキストコーパスにおけるジェンダーバイアスは、社会的不平等の永続性と増幅につながる可能性がある。 テキストコーパスにおけるジェンダー表現バイアスを計測する既存の手法は、主に英語で提案されている。 本稿では,スペインのコーパスにおけるジェンダー表現バイアスを定量的に測定する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Women Are Beautiful, Men Are Leaders: Gender Stereotypes in Machine Translation and Language Modeling [0.3374875022248866]
  GESTは、言語モデルと機械翻訳システムにおけるジェンダーステレオタイプ推論を測定するために設計された新しいデータセットである。 GESTには、英語と9つのスラヴ語と互換性のある男女のステレオタイプ16のサンプルが含まれている。 我々は、GESTを用いて、英語およびスラヴ語マスキングLM、英語生成LM、機械翻訳システムの評価を行った。
  論文  参考訳（メタデータ） (2023-11-30T17:06:00Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。