論文の概要: DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias

• arxiv url: http://arxiv.org/abs/2310.14329v1
• Date: Sun, 22 Oct 2023 15:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:31:22.695174
• Title: DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias
• Title（参考訳）: difair:性知識とバイアスの不連続評価のためのベンチマーク
• Authors: Mahdi Zakizadeh, Kaveh Eskandari Miandoab, Mohammad Taher Pilehvar
• Abstract要約: 事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
• 参考スコア（独自算出の注目度）: 13.928591341824248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous debiasing techniques have been proposed to mitigate the gender bias that is prevalent in pretrained language models. These are often evaluated on datasets that check the extent to which the model is gender-neutral in its predictions. Importantly, this evaluation protocol overlooks the possible adverse impact of bias mitigation on useful gender knowledge. To fill this gap, we propose DiFair, a manually curated dataset based on masked language modeling objectives. DiFair allows us to introduce a unified metric, gender invariance score, that not only quantifies a model's biased behavior, but also checks if useful gender knowledge is preserved. We use DiFair as a benchmark for a number of widely-used pretained language models and debiasing techniques. Experimental results corroborate previous findings on the existing gender biases, while also demonstrating that although debiasing techniques ameliorate the issue of gender bias, this improvement usually comes at the price of lowering useful gender knowledge of the model.
• Abstract（参考訳）: 事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、数多くの脱バイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 重要なこととして、この評価プロトコルは、バイアス軽減が有意義な性別知識に与える影響を見逃している。 このギャップを埋めるために,マスク付き言語モデリングの目的に基づいた手作業によるデータセットであるdifairを提案する。 DiFairは、モデルの偏りの振る舞いを定量化するだけでなく、有用な性別知識が保存されているかどうかをチェックする、統一された計量、性差スコアを導入することを可能にする。 私たちはDiFairを,広く使用されている言語モデルやデバイアス手法のベンチマークとして使用しています。 実験結果は、既存のジェンダーバイアスに関するこれまでの知見を裏付けると同時に、デバイアス技術はジェンダーバイアスの問題を改善するが、この改善は通常、モデルの有用なジェンダー知識を下げる価格によってもたらされる。

関連論文リスト

• Gender Bias Mitigation for Bangla Classification Tasks [2.6285986998314783]
  バングラ語事前学習言語モデルにおける性別バイアスについて検討する。 名前と性別固有の用語を変更することで、これらのデータセットが性別バイアスを検出し緩和するのに適していることを確認した。
  論文  参考訳（メタデータ） (2024-11-16T00:04:45Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
  言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。 本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。 以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
  論文  参考訳（メタデータ） (2022-09-08T09:15:58Z)
• Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
  推論による自然言語理解における性別バイアスの評価手法を提案する。 チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。 その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
  論文  参考訳（メタデータ） (2021-05-12T09:41:51Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。