論文の概要: Robustness and Reliability of Gender Bias Assessment in Word Embeddings: The Role of Base Pairs

• arxiv url: http://arxiv.org/abs/2010.02847v2
• Date: Tue, 27 Oct 2020 21:24:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:01:54.003044
• Title: Robustness and Reliability of Gender Bias Assessment in Word Embeddings: The Role of Base Pairs
• Title（参考訳）: 単語埋め込みにおける性バイアス評価のロバスト性と信頼性:ベースペアの役割
• Authors: Haiyang Zhang, Alison Sneyd and Mark Stevenson
• Abstract要約: 単語埋め込みはジェンダーバイアスを示すことが示されており、これを定量化するために様々な方法が提案されている。 これまでの研究では、男女の単語ペアを利用して偏見を測定し、偏見のある類似点を抽出してきた。 これらの性的なペアへの依存には、強い制限があることが示される。 特に、"man is to computer-grammer as woman is to homemaker"というよく知られたアナロジーは、社会的バイアスよりも言葉の類似性によるものである。
• 参考スコア（独自算出の注目度）: 23.574442657224008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been shown that word embeddings can exhibit gender bias, and various methods have been proposed to quantify this. However, the extent to which the methods are capturing social stereotypes inherited from the data has been debated. Bias is a complex concept and there exist multiple ways to define it. Previous work has leveraged gender word pairs to measure bias and extract biased analogies. We show that the reliance on these gendered pairs has strong limitations: bias measures based off of them are not robust and cannot identify common types of real-world bias, whilst analogies utilising them are unsuitable indicators of bias. In particular, the well-known analogy "man is to computer-programmer as woman is to homemaker" is due to word similarity rather than societal bias. This has important implications for work on measuring bias in embeddings and related work debiasing embeddings.
• Abstract（参考訳）: 単語埋め込みはジェンダーバイアスを示すことが示されており、これを定量化する様々な方法が提案されている。 しかし、この手法がデータから受け継いだ社会的ステレオタイプを捉えている程度は議論されている。 バイアスは複雑な概念であり、それを定義するには複数の方法が存在する。 これまでの研究では、性別の単語ペアを利用してバイアスを計測し、バイアス付きアナロジーを抽出する。 それらに基づくバイアス測定は堅牢ではなく、現実のバイアスの一般的なタイプを特定することはできない一方で、それらを利用するアナログはバイアスの好ましくない指標である。 特に有名なアナロジー「man is to computer-programmer as woman is to homemaker」は社会バイアスではなく単語の類似性によるものである。 これは、埋め込みにおけるバイアスを測定する作業と、埋め込みを嫌悪する作業に重要な意味を持つ。

関連論文リスト

• ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text [11.085070600065801]
  言語は、社会的信念システムの顕在化のための強力なツールとして機能する。 ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。 我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
  論文  参考訳（メタデータ） (2023-10-26T14:34:06Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Identifying and Mitigating Gender Bias in Hyperbolic Word Embeddings [34.378806636170616]
  ジェンダーバイアスの研究を、最近普及したハイパーボリック単語の埋め込みに拡張する。 本稿では,双曲型単語表現におけるジェンダーバイアスを定量化するための新しい尺度であるジロコシンバイアスを提案する。 評価試験の結果、Poincar'e Gender Debias (PGD) は最小のセマンティックオフセットを追加しながらバイアスを効果的に低減することが示された。
  論文  参考訳（メタデータ） (2021-09-28T14:43:37Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。