論文の概要: An Empirical Survey of the Effectiveness of Debiasing Techniques for
Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2110.08527v1
- Date: Sat, 16 Oct 2021 09:40:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-21 14:46:06.589415
- Title: An Empirical Survey of the Effectiveness of Debiasing Techniques for
Pre-Trained Language Models
- Title（参考訳）: 事前学習言語モデルにおけるデバイアス手法の有効性に関する実証的研究
- Authors: Nicholas Meade, Elinor Poole-Dayan, Siva Reddy
- Abstract要約: 最近の研究によると、事前学習された言語モデルは、訓練されたテキストコーパスから社会的偏見を捉えている。
最近提案された5つのデバイアス技術: 対実データ拡張、ドロップアウト、イテレーティブヌルスペース投影、セルフデバイアス、センテンスデバイアス。
3つの異なるバイアスベンチマークを用いて各手法の有効性を定量化するとともに,これらの手法がモデル言語モデリング能力に与える影響を計測する。
- 参考スコア（独自算出の注目度）: 4.937002982255573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that pre-trained language models capture social biases
from the text corpora they are trained on. This has attracted attention to
developing techniques that mitigate such biases. In this work, we perform a
empirical survey of five recently proposed debiasing techniques: Counterfactual
Data Augmentation (CDA), Dropout, Iterative Nullspace Projection, Self-Debias,
and SentenceDebias. We quantify the effectiveness of each technique using three
different bias benchmarks while also measuring the impact of these techniques
on a model's language modeling ability, as well as its performance on
downstream NLU tasks. We experimentally find that: (1) CDA and Self-Debias are
the strongest of the debiasing techniques, obtaining improved scores on most of
the bias benchmarks (2) Current debiasing techniques do not generalize well
beyond gender bias; And (3) improvements on bias benchmarks such as StereoSet
and CrowS-Pairs by using debiasing strategies are usually accompanied by a
decrease in language modeling ability, making it difficult to determine whether
the bias mitigation is effective.
- Abstract（参考訳）: 最近の研究によると、事前学習された言語モデルは、訓練されたテキストコーパスから社会的偏見を捉えている。
このような偏見を緩和する技術開発に注目が集まっている。
本研究では,最近提案された5つのデバイアス(CDA,Dropout,Iterative Nullspace Projection,Self-Debias,SentenceDebias)に関する実証調査を行った。
3つの異なるバイアスベンチマークを用いて各手法の有効性を定量化するとともに、これらの手法がモデル言語モデリング能力に与える影響と、下流のNLUタスクの性能を計測する。
その結果,(1)cdaと自己デバイアスは最も高いデバイアス技術であり,(2)現在のデバイアス技術はジェンダーバイアスを超えるほど一般化していないこと,(3)デバイアス戦略を用いたステレオセットやカラスペアなどのバイアスベンチマークの改善は,一般的に言語モデリング能力の低下を伴うこと,およびバイアス緩和が有効であるかどうかの判断が困難であること,などが確認された。
関連論文リスト
- Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation [19.06428714669272]
内在的デバイアスの手法がニューラルマシン翻訳モデルにどのように影響するかを系統的に検証する。
私たちは、デバイアスングテクニックとエンドゴール使用の3つの課題とミスマッチを強調します。
論文 参考訳（メタデータ） (2024-06-02T15:57:29Z) - Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳（メタデータ） (2024-03-27T17:49:31Z) - How to be fair? A study of label and selection bias [3.018638214344819]
バイアス付きデータがバイアス付きおよび潜在的に不公平なモデルにつながることは広く受け入れられている。
データにおけるバイアスとモデル予測のためのいくつかの尺度が提案され、バイアス軽減技術が提案されている。
過去10年間に開発された無数の緩和技術にもかかわらず、どの方法が機能するかはいまだに理解されていない。
論文 参考訳（メタデータ） (2024-03-21T10:43:55Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Language Models Get a Gender Makeover: Mitigating Gender Bias with
Few-Shot Data Interventions [50.67412723291881]
事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。
我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
論文 参考訳（メタデータ） (2023-06-07T16:50:03Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳（メタデータ） (2023-06-06T23:56:18Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-11T06:16:14Z) - Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。
2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
論文 参考訳（メタデータ） (2022-05-05T01:57:58Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳（メタデータ） (2021-09-16T23:40:28Z) - RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of
Conversational Language Models [37.98671828283487]
テキスト表現モデルは、様々な社会的バイアスを示す傾向がある。
最近の研究は、事前訓練された言語モデルにおけるバイアスの測定と緩和に重点を置いている。
RedditBiasは、Redditによる人間の会話をベースとした初めての会話データセットだ。
論文 参考訳（メタデータ） (2021-06-07T11:22:39Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳（メタデータ） (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。