論文の概要: Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2110.05367v3
• Date: Fri, 30 Jun 2023 14:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 16:09:59.648735
• Title: Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
• Title（参考訳）: カタストロフィック・フォーミングを伴わない事前学習言語モデルのジェンダーフェアネスの改善
• Authors: Zahra Fatemi, Chen Xing, Wenhao Liu, Caiming Xiong
• Abstract要約: 元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
• 参考スコア（独自算出の注目度）: 88.83117372793737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing studies addressing gender bias of pre-trained language models, usually build a small gender-neutral data set and conduct a second phase pre-training on the model with such data. However, given the limited size and concentrated focus of the gender-neutral data, catastrophic forgetting would occur during second-phase pre-training. Forgetting information in the original training data may damage the model's downstream performance by a large margin. In this work, we empirically show that catastrophic forgetting occurs in such methods by evaluating them with general NLP tasks in GLUE. Then, we propose a new method, GEnder Equality Prompt (GEEP), to improve gender fairness of pre-trained models with less forgetting. GEEP freezes the pre-trained model and learns gender-related prompts with gender-neutral data. Empirical results show that GEEP not only achieves SOTA performances on gender fairness tasks, but also forgets less and performs better on GLUE by a large margin.
• Abstract（参考訳）: 事前学習された言語モデルのジェンダーバイアスに対処する既存の研究は、通常、小さな性中立なデータセットを構築し、そのようなデータを用いてモデル上で第2フェーズ事前トレーニングを行う。 しかし、男女中立データの限られたサイズと集中的な焦点を考えると、第二期事前トレーニング中に破滅的な忘れが生じる。 元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本研究では, GLUE の一般的な NLP タスクで評価することで, 破滅的な忘れが生じることを実証的に示す。 そこで本研究では,前訓練モデルの性公平性を改善するための新しい方法である性平等プロンプト(geep)を提案する。 GEEPは事前学習されたモデルを凍結し、性中立データを用いて性別関連プロンプトを学習する。 実験の結果,GEEPはジェンダーフェアネスのタスクにおいてSOTAのパフォーマンスを達成できるだけでなく,GLUEの性能も向上することがわかった。

関連論文リスト

• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models [9.534831387705312]
  既存のソリューションでは、デバイアスを行うためのトレーニングプロセスとデータセットが必要です。 ジェンダーチューニングは、Masked Language Modeling(MLM)トレーニング目標を微調整のトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはPLMにおける平均性差スコアにおいて最先端のベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-07-20T01:48:51Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models [2.6329024988388925]
  文レベルで暗黙の性別バイアスを自動生成する手法と,性別バイアスを測定する指標を提案する。 このメトリクスは、事前訓練されたモデルからサンプルの生成を導くのに使用される。そのため、これらの例は事前訓練されたモデルに対する攻撃を強制するために使用できる。
  論文  参考訳（メタデータ） (2021-10-03T20:22:54Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。