論文の概要: CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models

• arxiv url: http://arxiv.org/abs/2010.00133v1
• Date: Wed, 30 Sep 2020 22:38:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:24:01.381675
• Title: CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models
• Title（参考訳）: CrowS-Pairs: マスキング言語モデルにおける社会的バイアス測定のための課題データセット
• Authors: Nikita Nangia, Clara Vania, Rasika Bhalerao, Samuel R. Bowman
• Abstract要約: Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
• 参考スコア（独自算出の注目度）: 30.582132471411263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models, especially masked language models (MLMs) have seen success across many NLP tasks. However, there is ample evidence that they use the cultural biases that are undoubtedly present in the corpora they are trained on, implicitly creating harm with biased representations. To measure some forms of social bias in language models against protected demographic groups in the US, we introduce the Crowdsourced Stereotype Pairs benchmark (CrowS-Pairs). CrowS-Pairs has 1508 examples that cover stereotypes dealing with nine types of bias, like race, religion, and age. In CrowS-Pairs a model is presented with two sentences: one that is more stereotyping and another that is less stereotyping. The data focuses on stereotypes about historically disadvantaged groups and contrasts them with advantaged groups. We find that all three of the widely-used MLMs we evaluate substantially favor sentences that express stereotypes in every category in CrowS-Pairs. As work on building less biased models advances, this dataset can be used as a benchmark to evaluate progress.
• Abstract（参考訳）: 事前訓練された言語モデル、特にマスキング言語モデル(MLM)は多くのNLPタスクで成功している。 しかし、彼らが訓練されたコーパスに明らかに存在する文化的バイアスを使って、偏りのある表現に暗黙的に害をもたらすという証拠はたくさんある。 米国における保護された集団に対する言語モデルにおける社会的バイアスを測定するために、クラウドソースステレオタイプペアベンチマーク(crows-pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 crows-pairsでは、モデルは2つの文で示される: 1つはよりステレオタイプ、もう1つはよりステレオタイプである。 データは歴史的に不利な群に関するステレオタイプに焦点を当て、それらと有利な群を対比する。 我々は, CrowS-Pairs の各カテゴリーのステレオタイプを表す文を, 広く利用されている MLM の3つすべてで有意に好適であることが判明した。 バイアスの少ないモデルを構築する作業が進むにつれ、このデータセットは進捗を評価するベンチマークとして使用できる。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models [9.734705470760511]
  我々はGlobalBiasを使って世界中の幅広いステレオタイプを研究しています。 与えられた名前に基づいて文字プロファイルを生成し、モデル出力におけるステレオタイプの有効性を評価する。
  論文  参考訳（メタデータ） (2024-07-09T14:52:52Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Stereotype Detection in LLMs: A Multiclass, Explainable, and Benchmark-Driven Approach [4.908389661988191]
  本稿では, 性別, 人種, 職業, 宗教, その他のステレオタイプにまたがる51,867の事例からなるMulti-Grain Stereotype (MGS)データセットを提案する。 我々は、さまざまな機械学習アプローチを評価し、異なるアーキテクチャと大きさのベースラインと微調整言語モデルを確立する。 我々は、モデルが学習したパターンがステレオタイプに関する人間の直観と一致するかどうかを評価するために、SHAP、LIME、BertVizを含む説明可能なAI(XAI)ツールを採用する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:32Z)
• Protected group bias and stereotypes in Large Language Models [2.1122940074160357]
  本稿では,倫理と公正の領域におけるLarge Language Models(LLM)の振る舞いについて考察する。 マイノリティ化されたグループに偏見はありますが、特に性別やセクシュアリティの領域では、西洋の偏見も見られます。
  論文  参考訳（メタデータ） (2024-03-21T00:21:38Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
  下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。 一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。 特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
  論文  参考訳（メタデータ） (2021-02-08T11:10:27Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• StereoSet: Measuring stereotypical bias in pretrained language models [24.020149562072127]
  我々は,4つの領域におけるステレオタイプバイアスを測定するために,英語の大規模自然データセットであるStereoSetを提案する。 我々は,BERT,GPT-2,RoBERTa,XLNetなどの人気モデルをデータセット上で評価し,これらのモデルが強いステレオタイプバイアスを示すことを示す。
  論文  参考訳（メタデータ） (2020-04-20T17:14:33Z)
• Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
  我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。 コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T14:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。