論文の概要: Investigating Gender Bias in BERT

• arxiv url: http://arxiv.org/abs/2009.05021v1
• Date: Thu, 10 Sep 2020 17:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 03:28:32.439005
• Title: Investigating Gender Bias in BERT
• Title（参考訳）: BERTにおけるジェンダーバイアスの調査
• Authors: Rishabh Bhardwaj, Navonil Majumder, Soujanya Poria
• Abstract要約: 我々は、感情や感情の強さの予測に関連する5つの下流タスクにおいて、それが引き起こすジェンダーバイアスを分析した。 本稿では,各BERT層に対する1つの主方向という,きめ細かい性別方向を求めるアルゴリズムを提案する。 実験により, 下流タスクにおけるBERT誘発バイアスの低減に成功していることがわかった。
• 参考スコア（独自算出の注目度）: 22.066477991442003
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contextual language models (CLMs) have pushed the NLP benchmarks to a new height. It has become a new norm to utilize CLM provided word embeddings in downstream tasks such as text classification. However, unless addressed, CLMs are prone to learn intrinsic gender-bias in the dataset. As a result, predictions of downstream NLP models can vary noticeably by varying gender words, such as replacing "he" to "she", or even gender-neutral words. In this paper, we focus our analysis on a popular CLM, i.e., BERT. We analyse the gender-bias it induces in five downstream tasks related to emotion and sentiment intensity prediction. For each task, we train a simple regressor utilizing BERT's word embeddings. We then evaluate the gender-bias in regressors using an equity evaluation corpus. Ideally and from the specific design, the models should discard gender informative features from the input. However, the results show a significant dependence of the system's predictions on gender-particular words and phrases. We claim that such biases can be reduced by removing genderspecific features from word embedding. Hence, for each layer in BERT, we identify directions that primarily encode gender information. The space formed by such directions is referred to as the gender subspace in the semantic space of word embeddings. We propose an algorithm that finds fine-grained gender directions, i.e., one primary direction for each BERT layer. This obviates the need of realizing gender subspace in multiple dimensions and prevents other crucial information from being omitted. Experiments show that removing embedding components in such directions achieves great success in reducing BERT-induced bias in the downstream tasks.
• Abstract（参考訳）: 文脈言語モデル(CLM)は、NLPベンチマークを新たな高さに押し上げた。 テキスト分類などの下流タスクにCLMが提供する単語埋め込みを利用するための新しい規範となっている。 しかし、対処しない限り、CLMはデータセットの中で固有の性別バイアスを学ぶ傾向にある。 その結果、下流のNLPモデルの予測は、"he"を"she"に置き換えたり、性中立的な単語に置き換えたりすることで顕著に異なる。 本稿では,一般的なCLM,すなわちBERTに着目した分析を行う。 感情・感情インテンシティ予測に関連する5つの下流課題における性バイアスの分析を行った。 各タスクに対して、BERTの単語埋め込みを利用した単純な回帰器を訓練する。 次に, エクイティ評価コーパスを用いて, レグレプタのジェンダーバイアスを評価する。 理想的には、特定のデザインから、モデルは入力から性別情報の特徴を捨てるべきである。 しかし,この結果は,性別別単語やフレーズの予測に大きく依存していることが示唆された。 単語埋め込みから性別特化特徴を取り除き,そのようなバイアスを低減できると主張する。 したがって、BERTの各層に対して、主に性別情報を符号化する方向を特定する。 そのような方向によって形成される空間は、単語埋め込みの意味空間におけるジェンダー部分空間と呼ばれる。 本稿では,各BERT層に対する1つの主方向という,きめ細かい性別方向を求めるアルゴリズムを提案する。 これにより、複数の次元のジェンダーサブスペースを実現する必要がなくなり、他の重要な情報が省略されるのを防ぐことができる。 実験により, 下流タスクにおけるBERT誘発バイアスの低減に成功し, 組込み部品の除去に成功した。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender Bias in Text: Labeled Datasets and Lexicons [0.30458514384586394]
  性別バイアスの自動検出には、性別バイアスデータセットと語彙の欠如がある。 関連文の収集,注釈付け,拡張によりラベル付きデータセットと網羅的辞書を提供する。 リリースされたデータセットとレキシコンは、Generic He、Generic She、Explicit Marking of Sex、Gendered Neologismsなど、複数のバイアスサブタイプにまたがっている。
  論文  参考訳（メタデータ） (2022-01-21T12:44:51Z)
• Gendered Language in Resumes and its Implications for Algorithmic Bias in Hiring [0.0]
  我々は応募者の性別を分類するために一連のモデルを訓練する。 我々は、履歴書から性別を難読化できるかどうか検討する。 難読化後も履歴書には男女情報が多く存在することが判明した。
  論文  参考訳（メタデータ） (2021-12-16T14:26:36Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings [37.65897382453336]
  単語ベクターの空間配置に隠された性別バイアスを緩和することは,既存の単語埋め込みの処理方法では不可能である。 我々は,単語ベクトルに存在するバイアスを排除し,隣接するベクトルの空間分布を変化させる,新しいジェンダーデバイアス手法であるRAN-Debiasを提案する。 我々はまた、新しいバイアス評価指標、ジェンダーベースIllicit Proximity Estimate (GIPE)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T20:50:43Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)
• Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation [25.060917870666803]
  適応的な勾配反転層を有するシアム自動エンコーダ構造を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。
  論文  参考訳（メタデータ） (2020-04-07T05:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。