論文の概要: Data Bias According to Bipol: Men are Naturally Right and It is the Role of Women to Follow Their Lead

• arxiv url: http://arxiv.org/abs/2404.04838v2
• Date: Sat, 21 Sep 2024 13:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 03:26:10.492694
• Title: Data Bias According to Bipol: Men are Naturally Right and It is the Role of Women to Follow Their Lead
• Title（参考訳）: データのバイアス:男性は自然に正しい、女性がリードを追いかける役割である
• Authors: Irene Pagliai, Goya van Boven, Tosin Adewumi, Lama Alkhaled, Namrata Gurung, Isabella Södergren, Elisa Barney,
• Abstract要約: 英語のGLUE/SuperGLUEリーダーボードのベンチマークデータセットを含む,評価された5つの言語の10のデータセットすべてにバイアスが存在することを示す。 3つの新しい言語は、合計600万のラベル付きサンプルを与え、SotAの多言語事前トレーニングモデルであるmT5とmBERTを使ってこれらのデータセットをベンチマークします。
• 参考スコア（独自算出の注目度）: 0.48163317476588574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce new large labeled datasets on bias in 3 languages and show in experiments that bias exists in all 10 datasets of 5 languages evaluated, including benchmark datasets on the English GLUE/SuperGLUE leaderboards. The 3 new languages give a total of almost 6 million labeled samples and we benchmark on these datasets using SotA multilingual pretrained models: mT5 and mBERT. The challenge of social bias, based on prejudice, is ubiquitous, as recent events with AI and large language models (LLMs) have shown. Motivated by this challenge, we set out to estimate bias in multiple datasets. We compare some recent bias metrics and use bipol, which has explainability in the metric. We also confirm the unverified assumption that bias exists in toxic comments by randomly sampling 200 samples from a toxic dataset population using the confidence level of 95% and error margin of 7%. Thirty gold samples were randomly distributed in the 200 samples to secure the quality of the annotation. Our findings confirm that many of the datasets have male bias (prejudice against women), besides other types of bias. We publicly release our new datasets, lexica, models, and codes.
• Abstract（参考訳）: 3つの言語におけるバイアスに関する新しい大きなラベル付きデータセットを導入し、イングランドのGLUE/SuperGLUEリーダーボードのベンチマークデータセットを含む、評価された5つの言語の10つのデータセットすべてにバイアスが存在することを示す。 3つの新しい言語は、合計600万のラベル付きサンプルを与え、SotAの多言語事前トレーニングモデルであるmT5とmBERTを使ってこれらのデータセットをベンチマークします。 偏見に基づく社会的偏見の課題は、最近のAIと大規模言語モデル(LLM)による出来事が示すように、ユビキタスである。 この課題に触発された私たちは、複数のデータセットでバイアスを推定することにしました。 我々は、最近のバイアス測定値を比較し、測定値に説明可能性を持つbipolを使用します。 また, 信頼度95%, エラーマージン7%を用いて, 有毒なデータセット群からランダムに200のサンプルをサンプリングすることにより, 有毒なコメントにバイアスが存在するという不確定な仮定も確認した。 アノテーションの品質を確保するために、30個の金サンプルが200個のサンプルにランダムに分散された。 以上の結果から,多くのデータセットが男性バイアス(女性に対する偏見)を持つことが明らかとなった。 新しいデータセット、レキシカ、モデル、コードを公開しています。

関連論文リスト

• Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
  本研究では,大言語モデル(LLM)における性別バイアスについて検討する。 我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
  論文  参考訳（メタデータ） (2024-11-20T22:43:18Z)
• Are Models Biased on Text without Gender-related Language? [14.931375031931386]
  ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。 USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。 28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-01T15:51:15Z)
• BiasBuster: a Neural Approach for Accurate Estimation of Population Statistics using Biased Location Data [6.077198822448429]
  統計的偏りは有用である場合もあるが,精度が向上しない場合が多い。 次に、人口統計と位置特性の相関を利用して、人口統計の正確な推定を行うニューラルネットワーク手法であるBiasBusterを提案する。
  論文  参考訳（メタデータ） (2024-02-17T16:16:24Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Bipol: Multi-axes Evaluation of Bias with Explainability in Benchmark Datasets [1.7417978715317002]
  複数の軸に沿った5つの英語NLPベンチマークデータセットと2つのスウェーデンのバイアスデータセットを調査した。 これらのデータセットにどの程度のバイアスが存在するかを推定し、説明するために、説明可能性を備えた新しい多軸バイアスメトリクスであるbipolを使用します。
  論文  参考訳（メタデータ） (2023-01-28T09:28:19Z)
• Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation [10.542861450223128]
  3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。 我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
  論文  参考訳（メタデータ） (2021-09-08T18:14:11Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
  ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。 このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
  論文  参考訳（メタデータ） (2020-10-07T17:26:06Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。