論文の概要: Impact of Gender Debiased Word Embeddings in Language Modeling

• arxiv url: http://arxiv.org/abs/2105.00908v3
• Date: Wed, 5 May 2021 09:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 13:02:26.478832
• Title: Impact of Gender Debiased Word Embeddings in Language Modeling
• Title（参考訳）: 言語モデルにおける性別偏差単語埋め込みの効果
• Authors: Christine Basta and Marta R. Costa-juss\`a
• Abstract要約: 性別、人種、社会的バイアスは、自然言語処理の適用における不公平の明白な例として検出されている。 近年の研究では、トレーニングで使用される人為的なデータが偏見を生じさせる要因であることが示されている。 現在のアルゴリズムは、データからのバイアスを増幅することも証明されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gender, race and social biases have recently been detected as evident examples of unfairness in applications of Natural Language Processing. A key path towards fairness is to understand, analyse and interpret our data and algorithms. Recent studies have shown that the human-generated data used in training is an apparent factor of getting biases. In addition, current algorithms have also been proven to amplify biases from data. To further address these concerns, in this paper, we study how an state-of-the-art recurrent neural language model behaves when trained on data, which under-represents females, using pre-trained standard and debiased word embeddings. Results show that language models inherit higher bias when trained on unbalanced data when using pre-trained embeddings, in comparison with using embeddings trained within the task. Moreover, results show that, on the same data, language models inherit lower bias when using debiased pre-trained emdeddings, compared to using standard pre-trained embeddings.
• Abstract（参考訳）: ジェンダー、人種、社会バイアスは、近年、自然言語処理の応用における不公平さの顕著な例として検出されている。 公平への鍵となる道は、データとアルゴリズムを理解し、分析し、解釈することです。 近年の研究では、トレーニングで使用される人為的なデータが偏見を生じさせる要因であることが示されている。 さらに、現在のアルゴリズムはデータからのバイアスを増幅することが証明されている。 これらの懸念にさらに対処するため,本論文では,既訓練の標準と偏りのある単語埋め込みを用いて,女性を下書きするデータに基づいて,最先端のリカレントニューラルネットワークモデルがどのように振る舞うかを考察する。 その結果、事前学習された組込みを使用する場合、言語モデルは、タスク内でトレーニングされた組込みを使用する場合と比較して、不均衡なデータでトレーニングされた場合、高いバイアスを継承することが示された。 さらに, 言語モデルでは, 標準の事前学習エンデディングに比べて, 偏りのあるプレトレーニングエンデディングを用いることで, バイアスの低減が図られている。

関連論文リスト

• Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models [23.65626682262062]
  我々は,3種類の視覚・言語モデルを用いた事前学習および微調整後のバイアス増幅の定量化を行う。 全体として、事前学習および微調整後のバイアス増幅は独立である。
  論文  参考訳（メタデータ） (2023-10-26T16:19:19Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。