論文の概要: Evaluating Gender Bias in Natural Language Inference
- arxiv url: http://arxiv.org/abs/2105.05541v1
- Date: Wed, 12 May 2021 09:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-13 21:37:25.593046
- Title: Evaluating Gender Bias in Natural Language Inference
- Title(参考訳): 自然言語推論におけるジェンダーバイアスの評価
- Authors: Shanya Sharma, Manan Dey and Koustuv Sinha
- Abstract要約: 推論による自然言語理解における性別バイアスの評価手法を提案する。
チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。
その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
- 参考スコア(独自算出の注目度): 5.034017602990175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gender-bias stereotypes have recently raised significant ethical concerns in
natural language processing. However, progress in detection and evaluation of
gender bias in natural language understanding through inference is limited and
requires further investigation. In this work, we propose an evaluation
methodology to measure these biases by constructing a challenge task that
involves pairing gender-neutral premises against a gender-specific hypothesis.
We use our challenge task to investigate state-of-the-art NLI models on the
presence of gender stereotypes using occupations. Our findings suggest that
three models (BERT, RoBERTa, BART) trained on MNLI and SNLI datasets are
significantly prone to gender-induced prediction errors. We also find that
debiasing techniques such as augmenting the training dataset to ensure a
gender-balanced dataset can help reduce such bias in certain cases.
- Abstract(参考訳): ジェンダーバイアスステレオタイプは最近、自然言語処理において重大な倫理的懸念を提起している。
しかし、推論による自然言語理解における性別バイアスの検出と評価の進歩は限られており、さらなる調査が必要である。
本研究では,ジェンダーニュートラルな前提とジェンダー固有の仮説を組み合わせた課題を構築することで,これらのバイアスを測定するための評価手法を提案する。
我々は,職業を用いたジェンダーステレオタイプの存在について,最先端のNLIモデルを調査するために,課題タスクを利用する。
以上の結果から,MNLIデータセットとSNLIデータセットをトレーニングした3つのモデル(BERT,RoBERTa,BART)は,性別による予測誤差が有意に高いことが示唆された。
また、性別バランスの取れたデータセットを確実にするために、トレーニングデータセットを増強するといったデバイアス技術が、特定のケースでそのようなバイアスを減らすのに役立つこともわかりました。
関連論文リスト
- Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。
条件生成に基づく間接探索フレームワークを提案する。
LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文 参考訳(メタデータ) (2024-02-17T04:48:55Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z) - DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and
Bias [13.928591341824248]
事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。
これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。
この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
論文 参考訳(メタデータ) (2023-10-22T15:27:16Z) - Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender
Perturbation over Fairytale Texts [87.62403265382734]
近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。
本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
論文 参考訳(メタデータ) (2023-10-16T22:25:09Z) - Gender Bias in Transformer Models: A comprehensive survey [1.1011268090482573]
人工知能(AI)におけるジェンダーバイアスは、個人の生活に深く影響する懸念として浮上している。
本稿では,トランスフォーマーモデルにおけるジェンダーバイアスを言語学的観点から調査する。
論文 参考訳(メタデータ) (2023-06-18T11:40:47Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-19T20:05:02Z) - A Survey on Gender Bias in Natural Language Processing [22.91475787277623]
自然言語処理における性別バイアスに関する304論文について調査する。
ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。
性別偏見の研究は、4つの中核的な限界に悩まされている。
論文 参考訳(メタデータ) (2021-12-28T14:54:18Z) - Improving Gender Fairness of Pre-Trained Language Models without
Catastrophic Forgetting [88.83117372793737]
元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。
本稿では,GEnder Equality Prompt(GEEP)を提案する。
論文 参考訳(メタデータ) (2021-10-11T15:52:16Z) - Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution
and Machine Translation [10.542861450223128]
3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。
我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
論文 参考訳(メタデータ) (2021-09-08T18:14:11Z) - Stereotype and Skew: Quantifying Gender Bias in Pre-trained and
Fine-tuned Language Models [5.378664454650768]
本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。
性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
論文 参考訳(メタデータ) (2021-01-24T10:57:59Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。