論文の概要: Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2110.05367v1
• Date: Mon, 11 Oct 2021 15:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:29:31.092841
• Title: Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
• Title（参考訳）: カタストロフィック・フォーミングを伴わない事前学習言語モデルのジェンダーフェアネスの改善
• Authors: Zahra Fatemi, Chen Xing, Wenhao Liu, Caiming Xiong
• Abstract要約: 本稿では,GEnder Equality Prompt (GEEP) という新しい手法を提案する。 GEEPは、凍結言語モデルに基づく性別バイアスを減らすための性別関連プロンプトを学習する。
• 参考スコア（独自算出の注目度）: 51.29144079775469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although pre-trained language models, such as BERT, achieve state-of-art performance in many language understanding tasks, they have been demonstrated to inherit strong gender bias from its training data. Existing studies addressing the gender bias issue of pre-trained models, usually recollect and build gender-neutral data on their own and conduct a second phase pre-training on the released pre-trained model with such data. However, given the limited size of the gender-neutral data and its potential distributional mismatch with the original pre-training data, catastrophic forgetting would occur during the second-phase pre-training. Forgetting on the original training data may damage the model's downstream performance to a large margin. In this work, we first empirically show that even if the gender-neutral data for second-phase pre-training comes from the original training data, catastrophic forgetting still occurs if the size of gender-neutral data is smaller than that of original training data. Then, we propose a new method, GEnder Equality Prompt (GEEP), to improve gender fairness of pre-trained models without forgetting. GEEP learns gender-related prompts to reduce gender bias, conditioned on frozen language models. Since all pre-trained parameters are frozen, forgetting on information from the original training data can be alleviated to the most extent. Then GEEP trains new embeddings of profession names as gender equality prompts conditioned on the frozen model. Empirical results show that GEEP not only achieves state-of-the-art performances on gender debiasing in various applications such as pronoun predicting and coreference resolution, but also achieves comparable results on general downstream tasks such as GLUE with original pre-trained models without much forgetting.
• Abstract（参考訳）: BERTのような事前学習された言語モデルは、多くの言語理解タスクにおいて最先端のパフォーマンスを達成するが、トレーニングデータから強い性別バイアスを継承することが示されている。 事前学習モデルのジェンダーバイアス問題に対処する既存の研究は、通常、自身でジェンダー中立なデータを収集し構築し、そのようなデータを用いて、解放された事前学習されたモデルで第二段階の事前学習を行う。 しかし,性別ニュートラルデータの限られたサイズと,その潜在的分布ミスマッチが元の事前学習データと一致していることを考えると,第2相事前学習中に破滅的な忘れが生じる。 元のトレーニングデータを忘れれば、モデルのダウンストリームのパフォーマンスを大きなマージンに損なう可能性がある。 本研究は,第2相事前学習のための性別ニュートラルデータが元のトレーニングデータから来るとしても,男女ニュートラルデータのサイズが元のトレーニングデータよりも小さい場合,破滅的な忘れ込みが発生することを実証的に示す。 そこで本研究では,前訓練モデルの性公平性を改善するための新しい方法である性平等プロンプト(geep)を提案する。 GEEPは、凍結言語モデルに基づく性別バイアスを減らすための性別関連プロンプトを学習する。 事前学習されたパラメータはすべて凍結されるため、元のトレーニングデータからの情報をほとんど忘れてしまう可能性がある。 そしてGEEPは、凍結モデルで条件付けされた男女平等が促されるにつれて、新しい職業名の埋め込みを訓練する。 実験の結果,GEEPは代名詞予測やコア参照解決などの様々な応用において,男女の偏りに関する最先端のパフォーマンスを達成できるだけでなく,GLUEのような従来の事前学習モデルを用いたダウンストリームタスクにおいて,ほとんど忘れずに同等の結果が得られることがわかった。

関連論文リスト

• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models [9.534831387705312]
  既存のソリューションでは、デバイアスを行うためのトレーニングプロセスとデータセットが必要です。 ジェンダーチューニングは、Masked Language Modeling(MLM)トレーニング目標を微調整のトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはPLMにおける平均性差スコアにおいて最先端のベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-07-20T01:48:51Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models [2.6329024988388925]
  文レベルで暗黙の性別バイアスを自動生成する手法と,性別バイアスを測定する指標を提案する。 このメトリクスは、事前訓練されたモデルからサンプルの生成を導くのに使用される。そのため、これらの例は事前訓練されたモデルに対する攻撃を強制するために使用できる。
  論文  参考訳（メタデータ） (2021-10-03T20:22:54Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。