論文の概要: Towards Equal Gender Representation in the Annotations of Toxic Language Detection

• arxiv url: http://arxiv.org/abs/2106.02183v1
• Date: Fri, 4 Jun 2021 00:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:27:18.479754
• Title: Towards Equal Gender Representation in the Annotations of Toxic Language Detection
• Title（参考訳）: Toxic Language Detection アノテーションにおける男女平等表現に向けて
• Authors: Elizabeth Excell and Noura Al Moubayed
• Abstract要約: 本研究では,男女の有毒度に対するコメントの注釈方法の違いについて検討する。 BERTモデルは、男性アノテーターによる攻撃的な言葉を含む有毒なコメントを連想させ、男性によって注釈付けされたとして67.7%の有毒なコメントを予測した。 本研究では、この男女差を、攻撃的な言葉と非常に有毒なコメントをトレーニングデータから取り除くことで軽減することができることを示す。
• 参考スコア（独自算出の注目度）: 6.129776019898014
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Classifiers tend to propagate biases present in the data on which they are trained. Hence, it is important to understand how the demographic identities of the annotators of comments affect the fairness of the resulting model. In this paper, we focus on the differences in the ways men and women annotate comments for toxicity, investigating how these differences result in models that amplify the opinions of male annotators. We find that the BERT model as-sociates toxic comments containing offensive words with male annotators, causing the model to predict 67.7% of toxic comments as having been annotated by men. We show that this disparity between gender predictions can be mitigated by removing offensive words and highly toxic comments from the training data. We then apply the learned associations between gender and language to toxic language classifiers, finding that models trained exclusively on female-annotated data perform 1.8% better than those trained solely on male-annotated data and that training models on data after removing all offensive words reduces bias in the model by 55.5% while increasing the sensitivity by 0.4%.
• Abstract（参考訳）: 分類器は、訓練されたデータに存在するバイアスを伝播する傾向がある。 したがって、コメントアノテータの人口密度が結果モデルの公平性にどのように影響するかを理解することが重要である。 本稿では,男女が有毒なコメントに注釈を付ける方法の違いに注目し,これらの違いが男性注釈者の意見を増幅するモデルにどのように影響するかを検討する。 BERTモデルは、男性アノテーターによる攻撃的な言葉を含む有毒なコメントを連想させ、男性によって注釈付けされたとして67.7%の有毒なコメントを予測した。 本研究では、この男女差を、攻撃的な言葉と非常に有毒なコメントをトレーニングデータから取り除くことで軽減できることを示す。 次に,性別と言語の関係を有毒な言語分類器に適用し,男称データのみにのみ訓練されたモデルよりも1.8%高いパフォーマンスを示し,不快な単語を全て取り除いた後にデータにトレーニングモデルを適用することで,モデルのバイアスを55.5%低減し,感度を0.4%向上させることを見いだした。

関連論文リスト

• Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias [8.168722337906148]
  本研究では,ジェンダークェア方言の有害な音声分類におけるバイアスの存在について検討した。 LGBTQ+スラーの非退行的使用を実証する109個のテンプレートに基づく新しいデータセットであるQuierLexを紹介する。 筆者らは,これらのテキストの害評価において,市販の5つの言語モデルの性能を体系的に評価した。
  論文  参考訳（メタデータ） (2024-05-23T18:07:28Z)
• Are Models Biased on Text without Gender-related Language? [14.931375031931386]
  ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。 USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。 28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-01T15:51:15Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Mitigating Gender Bias in Distilled Language Models via Counterfactual Role Reversal [74.52580517012832]
  言語エクセルモデルは、性中立性を持つ男女の知識を含むバイアスを受けることができる。 本稿では,複数の学習ロール設定に基づくジェンダー格差を緩和するための新しいアプローチを提案する。 男女極性言語を減少させるモデルは、公平さや下流の分類を改善しない。
  論文  参考訳（メタデータ） (2022-03-23T17:34:35Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。