論文の概要: Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
- arxiv url: http://arxiv.org/abs/2406.13677v3
- Date: Tue, 17 Jun 2025 17:06:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 15:22:19.118122
- Title: Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
- Title（参考訳）: 大規模言語モデルを用いたジェンダー言語コーパスにおけるジェンダー表現バイアスの測定
- Authors: Erik Derner, Sara Sansalvador de la Fuente, Yoan Gutiérrez, Paloma Moreda, Nuria Oliver,
- Abstract要約: 大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。
性バイアスとは、特定の役割や特性と特定の性別の関連性である。
ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
- 参考スコア（独自算出の注目度）: 9.959039325564744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often inherit and amplify social biases embedded in their training data. A prominent social bias is gender bias. In this regard, prior work has mainly focused on gender stereotyping bias - the association of specific roles or traits with a particular gender - in English and on evaluating gender bias in model embeddings or generated outputs. In contrast, gender representation bias - the unequal frequency of references to individuals of different genders - in the training corpora has received less attention. Yet such imbalances in the training data constitute an upstream source of bias that can propagate and intensify throughout the entire model lifecycle. To fill this gap, we propose a novel LLM-based method to detect and quantify gender representation bias in LLM training data in gendered languages, where grammatical gender challenges the applicability of methods developed for English. By leveraging the LLMs' contextual understanding, our approach automatically identifies and classifies person-referencing words in gendered language corpora. Applied to four Spanish-English benchmarks and five Valencian corpora, our method reveals substantial male-dominant imbalances. We show that such biases in training data affect model outputs, but can surprisingly be mitigated leveraging small-scale training on datasets that are biased towards the opposite gender. Our findings highlight the need for corpus-level gender bias analysis in multilingual NLP. We make our code and data publicly available.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。
顕著な社会的偏見は性別偏見である。
この点に関して、先行研究は主に英語におけるジェンダーステレオタイピングバイアス(特定の役割や特徴と特定のジェンダーとの関連)と、モデル埋め込みや生成されたアウトプットにおけるジェンダーバイアスの評価に焦点を当てている。
対照的に、異なる性別の個人に対する参照の不平等頻度であるジェンダー表現バイアスは、トレーニングコーパスではあまり注目されていない。
しかし、トレーニングデータのこのような不均衡は、モデルライフサイクル全体を通して伝播し、強化することができる、上流のバイアス源を構成します。
このギャップを埋めるために、ジェンダー付き言語におけるLLM学習データにおいて、ジェンダー表現バイアスを検出し定量化する新しいLCMベースの手法を提案し、そこでは、文法的なジェンダーが英語で開発された手法の適用性に挑戦する。
LLMの文脈的理解を活用することで,ジェンダー付き言語コーパスにおける人物参照語の自動識別と分類を行う。
スペイン語の4つのベンチマークと5つのValencian corporaに応用して,本手法は有意な男性優位の不均衡を明らかにした。
トレーニングデータのそのようなバイアスは、モデル出力に影響を与えるが、反対の性別に偏ったデータセットの小規模トレーニングを活用することで、驚くほど緩和することができる。
以上の結果から,多言語NLPにおけるコーパスレベルの性別バイアス分析の必要性が示唆された。
コードとデータを公開しています。
関連論文リスト
- Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks [0.25049267048783647]
本論文は,自動翻訳システムにおけるステレオタイプとバイアスを評価するために,言語学,法学,計算機科学の協力的な取り組みである。
ジェンダーインクルージョンを促進し,機械翻訳の客観性を向上させる手段として,ジェンダーニュートラル翻訳を提唱する。
論文 参考訳（メタデータ） (2025-02-17T09:55:32Z) - The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。
ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。
ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
論文 参考訳（メタデータ） (2024-09-26T15:08:17Z) - GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T15:35:46Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Gender Bias in Large Language Models across Multiple Languages [10.068466432117113]
異なる言語で生成される大言語モデル(LLM)の性別バイアスについて検討する。
1) 性別関連文脈から記述的単語を選択する際の性別バイアス。
2) 性別関連代名詞を選択する際の性別バイアスは, 記述語を付与する。
論文 参考訳（メタデータ） (2024-03-01T04:47:16Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z) - Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in
Multilingual Machine Translation [28.471506840241602]
ジェンダーバイアスは機械翻訳において重要な問題であり、バイアス軽減技術の研究が進行中である。
本稿では,新しいアプローチに基づくバイアス緩和手法を提案する。
Gender-Aware Contrastive Learning, GACLは、文脈性情報を非明示性単語の表現にエンコードする。
論文 参考訳（メタデータ） (2023-05-23T12:53:39Z) - INCLUSIFY: A benchmark and a model for gender-inclusive German [0.0]
ジェンダーインクルージョン言語はジェンダーインフレクションを持つ言語においてジェンダー平等を達成するために重要である。
ジェンダーを包含する言語の使用を支援するために、いくつかのツールが開発されている。
ベンチマークのためのデータセットと尺度を示し、これらのタスクを実装するモデルを示す。
論文 参考訳（メタデータ） (2022-12-05T19:37:48Z) - Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。
本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。
以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
論文 参考訳（メタデータ） (2022-09-08T09:15:58Z) - Analyzing Gender Representation in Multilingual Models [59.21915055702203]
実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。
ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
論文 参考訳（メタデータ） (2022-04-20T00:13:01Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。