論文の概要: Evaluating Gender Bias in Natural Language Inference

• arxiv url: http://arxiv.org/abs/2105.05541v1
• Date: Wed, 12 May 2021 09:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 21:37:25.593046
• Title: Evaluating Gender Bias in Natural Language Inference
• Title（参考訳）: 自然言語推論におけるジェンダーバイアスの評価
• Authors: Shanya Sharma, Manan Dey and Koustuv Sinha
• Abstract要約: 推論による自然言語理解における性別バイアスの評価手法を提案する。 チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。 その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
• 参考スコア（独自算出の注目度）: 5.034017602990175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gender-bias stereotypes have recently raised significant ethical concerns in natural language processing. However, progress in detection and evaluation of gender bias in natural language understanding through inference is limited and requires further investigation. In this work, we propose an evaluation methodology to measure these biases by constructing a challenge task that involves pairing gender-neutral premises against a gender-specific hypothesis. We use our challenge task to investigate state-of-the-art NLI models on the presence of gender stereotypes using occupations. Our findings suggest that three models (BERT, RoBERTa, BART) trained on MNLI and SNLI datasets are significantly prone to gender-induced prediction errors. We also find that debiasing techniques such as augmenting the training dataset to ensure a gender-balanced dataset can help reduce such bias in certain cases.
• Abstract（参考訳）: ジェンダーバイアスステレオタイプは最近、自然言語処理において重大な倫理的懸念を提起している。 しかし、推論による自然言語理解における性別バイアスの検出と評価の進歩は限られており、さらなる調査が必要である。 本研究では,ジェンダーニュートラルな前提とジェンダー固有の仮説を組み合わせた課題を構築することで,これらのバイアスを測定するための評価手法を提案する。 我々は,職業を用いたジェンダーステレオタイプの存在について,最先端のNLIモデルを調査するために,課題タスクを利用する。 以上の結果から,MNLIデータセットとSNLIデータセットをトレーニングした3つのモデル(BERT,RoBERTa,BART)は,性別による予測誤差が有意に高いことが示唆された。 また、性別バランスの取れたデータセットを確実にするために、トレーニングデータセットを増強するといったデバイアス技術が、特定のケースでそのようなバイアスを減らすのに役立つこともわかりました。

関連論文リスト

• Gender Bias Mitigation for Bangla Classification Tasks [2.6285986998314783]
  バングラ語事前学習言語モデルにおける性別バイアスについて検討する。 名前と性別固有の用語を変更することで、これらのデータセットが性別バイアスを検出し緩和するのに適していることを確認した。
  論文  参考訳（メタデータ） (2024-11-16T00:04:45Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• Gender Bias in Transformer Models: A comprehensive survey [1.1011268090482573]
  人工知能(AI)におけるジェンダーバイアスは、個人の生活に深く影響する懸念として浮上している。 本稿では,トランスフォーマーモデルにおけるジェンダーバイアスを言語学的観点から調査する。
  論文  参考訳（メタデータ） (2023-06-18T11:40:47Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• A Survey on Gender Bias in Natural Language Processing [22.91475787277623]
  自然言語処理における性別バイアスに関する304論文について調査する。 ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。 性別偏見の研究は、4つの中核的な限界に悩まされている。
  論文  参考訳（メタデータ） (2021-12-28T14:54:18Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。