論文の概要: Mitigating Gender Bias in Contextual Word Embeddings

• arxiv url: http://arxiv.org/abs/2411.12074v1
• Date: Mon, 18 Nov 2024 21:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:07.807985
• Title: Mitigating Gender Bias in Contextual Word Embeddings
• Title（参考訳）: 文脈語埋め込みにおけるジェンダーバイアスの緩和
• Authors: Navya Yarrabelly, Vinay Damodaran, Feng-Guang Su,
• Abstract要約: 本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。 また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
• 参考スコア（独自算出の注目度）: 1.208453901299241
• License:
• Abstract: Word embeddings have been shown to produce remarkable results in tackling a vast majority of NLP related tasks. Unfortunately, word embeddings also capture the stereotypical biases that are prevalent in society, affecting the predictive performance of the embeddings when used in downstream tasks. While various techniques have been proposed \cite{bolukbasi2016man, zhao2018learning} and criticized\cite{gonen2019lipstick} for static embeddings, very little work has focused on mitigating bias in contextual embeddings. In this paper, we propose a novel objective function for MLM(Masked-Language Modeling) which largely mitigates the gender bias in contextual embeddings and also preserves the performance for downstream tasks. Since previous works on measuring bias in contextual embeddings lack in normative reasoning, we also propose novel evaluation metrics that are straight-forward and aligned with our motivations in debiasing. We also propose new methods for debiasing static embeddings and provide empirical proof via extensive analysis and experiments, as to why the main source of bias in static embeddings stems from the presence of stereotypical names rather than gendered words themselves. All experiments and embeddings studied are in English, unless otherwise specified.\citep{bender2011achieving}.
• Abstract（参考訳）: 単語埋め込みは、NLP関連のタスクの大部分に対処する際、顕著な結果をもたらすことが示されている。 残念なことに、単語の埋め込みはまた、社会で普及しているステレオタイプバイアスを捉え、下流のタスクで使用されるときの埋め込みの予測性能に影響を与える。 様々なテクニックが提案されているが、静的な埋め込みについては、‘cite{bolukbasi2016man, zhao2018learning} と “cite{gonen2019lipstick} が批判されている。 本稿では,MLM(Masked-Language Modeling)の新たな目的関数を提案する。 従来,文脈埋め込みにおけるバイアスの測定には規範的推論が欠如していたため,本研究では,偏見のモチベーションと整合した直線方向の新たな評価指標も提案する。 また,静的な埋め込みをデバイアス化するための新しい手法を提案し,また,静的な埋め込みにおけるバイアスの主源が,ジェンダー付き単語自体よりもステレオタイプ名の存在に由来する理由として,広範囲な分析と実験を通じて経験的証明を提供する。 研究されたすべての実験と埋め込みは英語で書かれている。 略称は「2011年」。

関連論文リスト

• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Detecting and Mitigating Indirect Stereotypes in Word Embeddings [6.428026202398116]
  有害なステレオタイプを含む単語の使用における社会的バイアスは、一般的な単語埋め込み法によってしばしば学習される。 分散単語埋め込みにおける間接バイアスを軽減するため, BIRM (Biased Indirect Relationship Modification) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T23:23:49Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Evaluating Bias In Dutch Word Embeddings [2.5567566997688043]
  オランダ語埋め込みにおける性別バイアスを定量化するために,単語埋め込みアソシエーションテスト(WEAT),クラスタリングおよび文埋め込みアソシエーションテスト(SEAT)手法を実装した。 本研究では, 従来の埋め込みに無視できる影響と, 文脈的埋め込みにおける性能の2%低下を示す下流タスクに対するデバイアス手法の効果を解析した。
  論文  参考訳（メタデータ） (2020-10-31T11:14:16Z)
• Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings [16.49645205111334]
  非テクスチュアルな単語埋め込みモデルは、トレーニングコーパスから性別、人種、宗教の人間のようなステレオタイプバイアスを継承することが示されている。 本稿では,単語埋め込みにおける性別バイアスの分析・緩和のためのライブラリであるFair Embedding Engine (FEE)について述べる。
  論文  参考訳（メタデータ） (2020-10-25T17:31:12Z)
• Towards Debiasing Sentence Representations [109.70181221796469]
  Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
  論文  参考訳（メタデータ） (2020-07-16T04:22:30Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)
• Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation [25.060917870666803]
  適応的な勾配反転層を有するシアム自動エンコーダ構造を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。
  論文  参考訳（メタデータ） (2020-04-07T05:16:48Z)
• Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
  本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。 単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
  論文  参考訳（メタデータ） (2020-03-09T22:06:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。