論文の概要: Gender Biases Unexpectedly Fluctuate in the Pre-training Stage of Masked Language Models

• arxiv url: http://arxiv.org/abs/2211.14639v1
• Date: Sat, 26 Nov 2022 18:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 17:26:55.014601
• Title: Gender Biases Unexpectedly Fluctuate in the Pre-training Stage of Masked Language Models
• Title（参考訳）: 仮面言語モデルの事前学習段階における性別バイアスの変動
• Authors: Kenan Tang, Hanchun Jiang
• Abstract要約: 仮面言語モデルは、事前トレーニング中に性別バイアスを拾う。 個々のテンプレートの基本レベルには大きな変動が存在することを示す。 これらの変動は,事前学習コーパスにおける予測代名詞の確実性や職業頻度と相関しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked language models pick up gender biases during pre-training. Such biases are usually attributed to a certain model architecture and its pre-training corpora, with the implicit assumption that other variations in the pre-training process, such as the choices of the random seed or the stopping point, have no effect on the biases measured. However, we show that severe fluctuations exist at the fundamental level of individual templates, invalidating the assumption. Further against the intuition of how humans acquire biases, these fluctuations are not correlated with the certainty of the predicted pronouns or the profession frequencies in pre-training corpora. We release our code and data to benefit future research.
• Abstract（参考訳）: 仮面言語モデルは、事前トレーニング中に性別バイアスを拾う。 このようなバイアスは通常、あるモデルアーキテクチャとその事前学習コーパスに起因しており、ランダムシードの選択や停止点などの事前学習プロセスにおける他のバリエーションが測定されたバイアスに影響を与えないという暗黙の仮定がある。 しかし,個々のテンプレートの基本的なレベルでは大きなゆらぎが存在し,仮定を無効にすることを示した。 さらに、人間が偏見を得る方法の直観に対して、これらの変動は事前学習コーパスにおける予測代名詞の確実性や職業頻度と相関しない。 将来の研究に役立つコードとデータをリリースします。

関連論文リスト

• Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models [23.65626682262062]
  我々は,3種類の視覚・言語モデルを用いた事前学習および微調整後のバイアス増幅の定量化を行う。 全体として、事前学習および微調整後のバイアス増幅は独立である。
  論文  参考訳（メタデータ） (2023-10-26T16:19:19Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models [2.6329024988388925]
  文レベルで暗黙の性別バイアスを自動生成する手法と,性別バイアスを測定する指標を提案する。 このメトリクスは、事前訓練されたモデルからサンプルの生成を導くのに使用される。そのため、これらの例は事前訓練されたモデルに対する攻撃を強制するために使用できる。
  論文  参考訳（メタデータ） (2021-10-03T20:22:54Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Impact of Gender Debiased Word Embeddings in Language Modeling [0.0]
  性別、人種、社会的バイアスは、自然言語処理の適用における不公平の明白な例として検出されている。 近年の研究では、トレーニングで使用される人為的なデータが偏見を生じさせる要因であることが示されている。 現在のアルゴリズムは、データからのバイアスを増幅することも証明されている。
  論文  参考訳（メタデータ） (2021-05-03T14:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。