論文の概要: EuroGEST: Investigating gender stereotypes in multilingual language models

• arxiv url: http://arxiv.org/abs/2506.03867v1
• Date: Wed, 04 Jun 2025 11:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.310227
• Title: EuroGEST: Investigating gender stereotypes in multilingual language models
• Title（参考訳）: EuroGEST:多言語言語モデルにおけるジェンダーステレオタイプの調査
• Authors: Jacqueline Rowe, Mateusz Klimaszewski, Liane Guillou, Shannon Vallor, Alexandra Birch,
• Abstract要約: 大規模言語モデルはますます複数の言語をサポートするようになったが、ほとんどのベンチマークは英語中心のままである。 EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。
• 参考スコア（独自算出の注目度）: 53.88459905621724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly support multiple languages, yet most benchmarks for gender bias remain English-centric. We introduce EuroGEST, a dataset designed to measure gender-stereotypical reasoning in LLMs across English and 29 European languages. EuroGEST builds on an existing expert-informed benchmark covering 16 gender stereotypes, expanded in this work using translation tools, quality estimation metrics, and morphological heuristics. Human evaluations confirm that our data generation method results in high accuracy of both translations and gender labels across languages. We use EuroGEST to evaluate 24 multilingual language models from six model families, demonstrating that the strongest stereotypes in all models across all languages are that women are \textit{beautiful,} \textit{empathetic} and \textit{neat} and men are \textit{leaders}, \textit{strong, tough} and \textit{professional}. We also show that larger models encode gendered stereotypes more strongly and that instruction finetuning does not consistently reduce gendered stereotypes. Our work highlights the need for more multilingual studies of fairness in LLMs and offers scalable methods and resources to audit gender bias across languages.
• Abstract（参考訳）: 大規模言語モデルはますます複数の言語をサポートするようになったが、ほとんどのベンチマークは英語中心のままである。 EuroGESTは、英語と29のヨーロッパ言語にまたがるLLMにおける性別ステレオタイプ推論を計測するためのデータセットである。 EuroGESTは16のジェンダーステレオタイプをカバーする既存の専門家インフォームドベンチマークに基づいて構築されており、翻訳ツール、品質推定メトリクス、形態学的ヒューリスティックスを用いてこの研究を拡張している。 人間の評価により、我々のデータ生成手法は、言語間での翻訳と性別ラベルの精度が高いことが確認される。 我々はEuroGESTを用いて、6つのモデルファミリーから24の多言語言語モデルを評価し、すべての言語で最強のステレオタイプは、女性が \textit{beautiful,} \textit{empathetic} と \textit{neat} であり、男性は \textit{leaders} 、 \textit{strong, tough} 、 \textit{professional} であることを示した。 また、より大型のモデルではジェンダーステレオタイプがより強くエンコードされ、命令の微調整によりジェンダーステレオタイプが一貫して減少しないことを示す。 我々の研究は、LLMにおける公平性に関するより多言語的な研究の必要性を強調し、言語間の性バイアスを評価するためのスケーラブルな方法とリソースを提供する。

関連論文リスト

• Breaking Language Barriers or Reinforcing Bias? A Study of Gender and Racial Disparities in Multilingual Contrastive Vision Language Models [14.632649933582648]
  我々は,M-CLIP,NLLB-CLIP,CAPIVARA-CLIPの3つの公開多言語CLIPチェックポイントについて,最初の体系的監査を行った。 人種と性別の偏見を定量化し、ステレオタイプ増幅を測定する。 性別の多い言語は、すべての測定されたバイアスタイプを常に拡大するが、異国語のステレオタイプを輸入する場合、男女中立言語でさえも脆弱である。
  論文  参考訳（メタデータ） (2025-05-20T10:14:00Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  テキストコーパスにおけるジェンダーバイアスは、社会的不平等の永続性と増幅につながる可能性がある。 テキストコーパスにおけるジェンダー表現バイアスを計測する既存の手法は、主に英語で提案されている。 本稿では,スペインのコーパスにおけるジェンダー表現バイアスを定量的に測定する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts [0.0]
  この研究は、マスキング言語モデル(MLM)に存在する固有のバイアスを掘り下げる。 本研究では, BERT, RoBERTa, DistilBERT, BERT-multilingual, XLM-RoBERTa, DistilBERT-multilingualの6つのモデルについて検討した。 この分析により、すべてのモデルのステレオタイプ的な性別アライメントが明らかとなり、多言語変異は相対的にバイアスを減少させる。
  論文  参考訳（メタデータ） (2024-01-28T23:00:40Z)
• Women Are Beautiful, Men Are Leaders: Gender Stereotypes in Machine Translation and Language Modeling [0.3374875022248866]
  GESTは、言語モデルと機械翻訳システムにおけるジェンダーステレオタイプ推論を測定するために設計された新しいデータセットである。 GESTには、英語と9つのスラヴ語と互換性のある男女のステレオタイプ16のサンプルが含まれている。 我々は、GESTを用いて、英語およびスラヴ語マスキングLM、英語生成LM、機械翻訳システムの評価を行った。
  論文  参考訳（メタデータ） (2023-11-30T17:06:00Z)
• Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation [28.471506840241602]
  ジェンダーバイアスは機械翻訳において重要な問題であり、バイアス軽減技術の研究が進行中である。 本稿では,新しいアプローチに基づくバイアス緩和手法を提案する。 Gender-Aware Contrastive Learning, GACLは、文脈性情報を非明示性単語の表現にエンコードする。
  論文  参考訳（メタデータ） (2023-05-23T12:53:39Z)
• Analyzing Gender Representation in Multilingual Models [59.21915055702203]
  実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。 ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
  論文  参考訳（メタデータ） (2022-04-20T00:13:01Z)
• Quantifying Gender Bias Towards Politicians in Cross-Lingual Language Models [104.41668491794974]
  代名詞として政治家の名前を取り巻く言語モデルによって生成される形容詞と動詞の用法を定量化する。 死者や指定された言葉が男女の政治家と関連しているのに対し、美人や離婚といった特定の言葉が主に女性政治家に関係していることが判明した。
  論文  参考訳（メタデータ） (2021-04-15T15:03:26Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。