論文の概要: Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns

• arxiv url: http://arxiv.org/abs/2302.05674v1
• Date: Sat, 11 Feb 2023 12:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 19:09:46.628512
• Title: Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns
• Title（参考訳）: Counter-GAP: 性別不明瞭な名詞による非現実的バイアス評価
• Authors: Zhongbin Xie, Vid Kocijan, Thomas Lukasiewicz, Oana-Maria Camburu
• Abstract要約: バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
• 参考スコア（独自算出の注目度）: 53.62845317039185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bias-measuring datasets play a critical role in detecting biased behavior of language models and in evaluating progress of bias mitigation methods. In this work, we focus on evaluating gender bias through coreference resolution, where previous datasets are either hand-crafted or fail to reliably measure an explicitly defined bias. To overcome these shortcomings, we propose a novel method to collect diverse, natural, and minimally distant text pairs via counterfactual generation, and construct Counter-GAP, an annotated dataset consisting of 4008 instances grouped into 1002 quadruples. We further identify a bias cancellation problem in previous group-level metrics on Counter-GAP, and propose to use the difference between inconsistency across genders and within genders to measure bias at a quadruple level. Our results show that four pre-trained language models are significantly more inconsistent across different gender groups than within each group, and that a name-based counterfactual data augmentation method is more effective to mitigate such bias than an anonymization-based method.
• Abstract（参考訳）: バイアス測定データセットは、言語モデルのバイアス行動の検出やバイアス緩和手法の進捗評価において重要な役割を果たす。 本研究では,従来のデータセットを手作りするか,明確に定義されたバイアスを確実に測定できないかのどちらかで,性別バイアスの評価に焦点をあてる。 これらの欠点を克服するために,対数生成による多様,自然,極小のテキストペアを収集し,4008のインスタンスを1002の4つに分類した注釈付きデータセットであるcounter-gapを構築する新しい手法を提案する。 さらに,カウンターGAPの過去のグループレベルの指標におけるバイアスキャンセル問題を特定し,男女間の不整合の差を利用して4倍のバイアスを測定することを提案する。 その結果,4つの事前学習された言語モデルは,グループ毎に異なる性別群間で矛盾する傾向がみられ,匿名化に基づく手法よりも,名前に基づく反実データ拡張法の方が有効であることが示唆された。

関連論文リスト

• Gender Bias Mitigation for Bangla Classification Tasks [2.6285986998314783]
  バングラ語事前学習言語モデルにおける性別バイアスについて検討する。 名前と性別固有の用語を変更することで、これらのデータセットが性別バイアスを検出し緩和するのに適していることを確認した。
  論文  参考訳（メタデータ） (2024-11-16T00:04:45Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels [38.1620443730172]
  複数の言語を対象とした事前学習言語モデル(PLM)では、差別的な性バイアスが発見されている。 自然言語推論の3つのラベルをすべて考慮した,NLI-CoAL と呼ばれる PLM のバイアス評価手法を提案する。 我々は、英語、日本語、中国語でデータセットを作成し、複数の言語にまたがるバイアス測定をうまく検証する。
  論文  参考訳（メタデータ） (2023-09-18T12:02:21Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。