論文の概要: Exploring and Mitigating Gender Bias in Encoder-Based Transformer Models

• arxiv url: http://arxiv.org/abs/2511.00519v1
• Date: Sat, 01 Nov 2025 11:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.820019
• Title: Exploring and Mitigating Gender Bias in Encoder-Based Transformer Models
• Title（参考訳）: エンコーダに基づくトランスモデルにおけるジェンダーバイアスの探索と緩和
• Authors: Ariyan Hossain, Khondokar Mohammad Ahanaf Hannan, Rakinul Haque, Nowreen Tarannum Rafa, Humayra Musarrat, Shoaib Ahmed Dipu, Farig Yousuf Sadeque,
• Abstract要約: 本稿では,トランスフォーマーモデルの重要な構成要素である文脈的単語埋め込みにおけるジェンダーバイアスについて検討する。 バイアスの度合いを定量化するために,マスク付きトークンを埋めるモデル確率に基づいてバイアスを評価する新しい計量MALoRを導入する。 実験により,異なる代名詞対における性別バイアススコアの顕著な減少が示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gender bias in language models has gained increasing attention in the field of natural language processing. Encoder-based transformer models, which have achieved state-of-the-art performance in various language tasks, have been shown to exhibit strong gender biases inherited from their training data. This paper investigates gender bias in contextualized word embeddings, a crucial component of transformer-based models. We focus on prominent architectures such as BERT, ALBERT, RoBERTa, and DistilBERT to examine their vulnerability to gender bias. To quantify the degree of bias, we introduce a novel metric, MALoR, which assesses bias based on model probabilities for filling masked tokens. We further propose a mitigation approach involving continued pre-training on a gender-balanced dataset generated via Counterfactual Data Augmentation. Our experiments reveal significant reductions in gender bias scores across different pronoun pairs. For instance, in BERT-base, bias scores for "he-she" dropped from 1.27 to 0.08, and "his-her" from 2.51 to 0.36 following our mitigation approach. We also observed similar improvements across other models, with "male-female" bias decreasing from 1.82 to 0.10 in BERT-large. Our approach effectively reduces gender bias without compromising model performance on downstream tasks.
• Abstract（参考訳）: 言語モデルにおけるジェンダーバイアスは、自然言語処理の分野で注目を集めている。 エンコーダベースのトランスフォーマーモデルは、様々な言語タスクで最先端のパフォーマンスを達成したが、トレーニングデータから受け継がれた強い性別バイアスを示すことが示されている。 本稿では,トランスフォーマーモデルの重要な構成要素である文脈的単語埋め込みにおけるジェンダーバイアスについて検討する。 我々は、BERT、ALBERT、RoBERTa、DistilBERTといった著名なアーキテクチャに注目し、性別バイアスに対する脆弱性を調べる。 バイアスの度合いを定量化するために,マスク付きトークンを埋めるモデル確率に基づいてバイアスを評価する新しい計量MALoRを導入する。 さらに,非現実的データ拡張によって生成される性別バランスデータセットに対する事前学習の継続を含む緩和手法を提案する。 実験により,異なる代名詞対における性別バイアススコアの顕著な減少が示された。 例えばBERTベースの場合、"he-she"のバイアススコアは1.27から0.08に、"his-her"は2.51から0.36に低下した。 また、他のモデルでも同様の改善が見られ、BERT-largeでは「男性」バイアスが1.82から0.10に低下した。 提案手法は,下流タスクにおけるモデル性能を損なうことなく,ジェンダーバイアスを効果的に低減する。

関連論文リスト

• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation [10.542861450223128]
  3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。 我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
  論文  参考訳（メタデータ） (2021-09-08T18:14:11Z)
• Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
  推論による自然言語理解における性別バイアスの評価手法を提案する。 チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。 その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
  論文  参考訳（メタデータ） (2021-05-12T09:41:51Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。