論文の概要: Is She Even Relevant? When BERT Ignores Explicit Gender Cues

• arxiv url: http://arxiv.org/abs/2605.07622v1
• Date: Fri, 08 May 2026 11:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.022118
• Title: Is She Even Relevant? When BERT Ignores Explicit Gender Cues
• Title（参考訳）: 彼女は関係あるのか? BERTがジェンダークイズを無視する時
• Authors: Jonas Klein, Chiara Manna, Eva Vanmassenhove,
• Abstract要約: 本稿では,オランダのBERTモデルにおいて,スクラッチから学習した性別情報がどのように出現するかについて検討する。 これはトランスフォーマーアーキテクチャにおいて、過剰な形態的性別マーキングとジェネリックフォームを組み合わせた言語のための最初のチェックポイントレベルのバイアス生成分析の1つである。
• 参考スコア（独自算出の注目度）: 0.962211505591938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gender bias in large language models has primarily been investigated for English, while languages with grammatical or morphological gender remain comparatively understudied. This paper investigates how and when gender information emerges in a Dutch BERT model trained from scratch, offering one of the first checkpoint-level analyses of bias formation in a Transformer architecture for a language combining overt morphological gender marking and generic forms. By extracting contextual embeddings throughout training, we construct dynamic gender subspaces using linear SVMs to trace when gender becomes linearly encoded and how this encoding evolves over time. Contextual embeddings are often assumed to integrate contextual cues robustly, allowing models to adjust the representation of a word depending on its more local usage. We therefore test whether explicit gender cues in controlled sentence templates (e.g., Zij is een loodgieter ('She is a plumber')) can override learned statistical associations (plumber -> male). Our findings challenge this assumption: although gender becomes clearly linearly separable around epoch 20 and is distributed across multiple embedding dimensions, the model struggles to update its internal gender representation in light of explicit contextual cues in short sentence templates. Stereotypical gender-profession pairings are predicted far more accurately than anti-stereotypical ones, and generic forms in Dutch systematically default to a male interpretation, even when the context explicitly denotes a female referent. Together, our results seem to indicate that contextualization in the representations learned by our Dutch BERT model is not sufficiently dynamic along the probed gender direction: explicit gender cues in anti-stereotypical contexts are not reliably reflected in the resulting representations, resulting in persistent male-default behaviour.
• Abstract（参考訳）: 大きな言語モデルにおけるジェンダーバイアスは主に英語で研究されているが、文法的または形態学的性別を持つ言語は比較的研究が進んでいない。 本稿では,オランダのBERTモデルにおいて,スクラッチから学習した性別情報がどのように出現するかを考察し,過度な形態的性別マーキングとジェネリックフォームを組み合わせた言語用トランスフォーマーアーキテクチャにおけるバイアス生成のチェックポイントレベル解析の1つを提供する。 学習を通してコンテキスト埋め込みを抽出することにより、線形SVMを用いて動的ジェンダー部分空間を構築し、ジェンダーが線形にエンコードされ、このエンコーディングが時間とともにどのように進化するかを追跡する。 文脈埋め込みはしばしば文脈的手がかりをしっかりと統合し、より局所的な使用量に応じて単語の表現を調整することができると仮定される。 したがって、制御された文テンプレート(例: Zij is een loodgieter("She is a plumber"))が学習された統計的関連(plumber -> male)をオーバーライドできるかどうかを検証した。 性別はエポック20前後で明確に線形分離可能となり,複数の埋め込み次元に分散するが,短い文章テンプレートの文脈的手がかりを考慮に入れた内部性表現の更新に苦慮する。 ステレオタイプとジェンダーとプロのペアリングは、反ステレオタイプよりもはるかに正確に予測され、オランダのジェネリックフォームは、文脈が女性参照を明示的に示している場合でも、男性解釈に体系的に既定である。 以上の結果から,オランダのBERTモデルで学習した表現の文脈化は,調査対象の性別方向に沿って十分に動的ではないことが示唆された。

関連論文リスト

• Uncertainty Quantification for Evaluating Machine Translation Bias [8.210153370613941]
  我々は、機械翻訳システムにおける性別バイアスを測定するために不確実性を用いる。 高い翻訳精度は不確実性を適切に示すことと相関せず, 脱バイアスが両症例に異なる影響を及ぼすことが判明した。
  論文  参考訳（メタデータ） (2025-07-24T12:10:21Z)
• Assumed Identities: Quantifying Gender Bias in Machine Translation of Gender-Ambiguous Occupational Terms [12.568906647547815]
  GRAPEは、性別バイアスを評価するための確率ベースの指標である。 GAMBITは、性別のあいまいな職業用語を持つ英語のベンチマークデータセットである。 GRAPEを用いて、いくつかのMTシステムを評価し、ギリシャ語とフランス語の性別による翻訳が社会的ステレオタイプと一致しているか、あるいは相違するかを検討する。
  論文  参考訳（メタデータ） (2025-03-06T12:16:14Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。 性バイアスとは、特定の役割や特性と特定の性別の関連性である。 ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [80.21033860436081]
  本稿では, モデルが非現実的データ拡張を通じて, ジェンダーステレオタイプ摂動にどう反応するかを検討する。 実験結果から, 性別の摂動に直面すると, モデルの性能低下がわずかであることがわかった。 反現実的なトレーニングデータに基づいて微調整を行うと、モデルは反ステレオタイプな物語に対してより堅牢になる。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。