論文の概要: CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked
Language Models
- arxiv url: http://arxiv.org/abs/2010.00133v1
- Date: Wed, 30 Sep 2020 22:38:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 22:24:01.381675
- Title: CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked
Language Models
- Title(参考訳): CrowS-Pairs: マスキング言語モデルにおける社会的バイアス測定のための課題データセット
- Authors: Nikita Nangia, Clara Vania, Rasika Bhalerao, Samuel R. Bowman
- Abstract要約: Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。
CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。
その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
- 参考スコア(独自算出の注目度): 30.582132471411263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained language models, especially masked language models (MLMs) have
seen success across many NLP tasks. However, there is ample evidence that they
use the cultural biases that are undoubtedly present in the corpora they are
trained on, implicitly creating harm with biased representations. To measure
some forms of social bias in language models against protected demographic
groups in the US, we introduce the Crowdsourced Stereotype Pairs benchmark
(CrowS-Pairs). CrowS-Pairs has 1508 examples that cover stereotypes dealing
with nine types of bias, like race, religion, and age. In CrowS-Pairs a model
is presented with two sentences: one that is more stereotyping and another that
is less stereotyping. The data focuses on stereotypes about historically
disadvantaged groups and contrasts them with advantaged groups. We find that
all three of the widely-used MLMs we evaluate substantially favor sentences
that express stereotypes in every category in CrowS-Pairs. As work on building
less biased models advances, this dataset can be used as a benchmark to
evaluate progress.
- Abstract(参考訳): 事前訓練された言語モデル、特にマスキング言語モデル(MLM)は多くのNLPタスクで成功している。
しかし、彼らが訓練されたコーパスに明らかに存在する文化的バイアスを使って、偏りのある表現に暗黙的に害をもたらすという証拠はたくさんある。
米国における保護された集団に対する言語モデルにおける社会的バイアスを測定するために、クラウドソースステレオタイプペアベンチマーク(crows-pairs)を紹介する。
CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。
crows-pairsでは、モデルは2つの文で示される: 1つはよりステレオタイプ、もう1つはよりステレオタイプである。
データは歴史的に不利な群に関するステレオタイプに焦点を当て、それらと有利な群を対比する。
我々は, CrowS-Pairs の各カテゴリーのステレオタイプを表す文を, 広く利用されている MLM の3つすべてで有意に好適であることが判明した。
バイアスの少ないモデルを構築する作業が進むにつれ、このデータセットは進捗を評価するベンチマークとして使用できる。
関連論文リスト
- Quantifying Stereotypes in Language [6.697298321551588]
データセットをアノテートすることで,言語におけるステレオタイプを定量化する。
我々は、プレトレーニング言語モデル(PLM)を用いて、このデータセットを学習し、文のステレオタイプを予測する。
我々は、ヘイトスピーチ、性差別、感情、不利で有利なグループなど、一般的な社会問題に関するステレオタイプについて議論する。
論文 参考訳(メタデータ) (2024-01-28T01:07:21Z) - Towards Auditing Large Language Models: Improving Text-based Stereotype
Detection [5.3634450268516565]
i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。
そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。
実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
論文 参考訳(メタデータ) (2023-11-23T17:47:14Z) - Social Bias Probing: Fairness Benchmarking for Language Models [48.5644008956526]
本稿では,社会的バイアスに対する言語モデル探索のための独自のフレームワークを提案する。
我々は,言語モデルの一般関連を分析するための探索データセットを収集し,社会的カテゴリ,アイデンティティ,ステレオタイプなどの軸に沿って収集する。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage
Leveraging Generative Models [15.145145928670827]
SeeGULLは英語の広い範囲のステレオタイプデータセットである。
6大陸にまたがる8つの異なる地政学的領域にまたがる178か国にまたがるアイデンティティグループに関するステレオタイプを含んでいる。
また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。
論文 参考訳(メタデータ) (2023-05-19T17:30:19Z) - Easily Accessible Text-to-Image Generation Amplifies Demographic
Stereotypes at Large Scale [61.555788332182395]
危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。
さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
論文 参考訳(メタデータ) (2022-11-07T18:31:07Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文 参考訳(メタデータ) (2021-02-08T11:10:27Z) - UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。
モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。
我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
論文 参考訳(メタデータ) (2020-10-06T01:49:52Z) - StereoSet: Measuring stereotypical bias in pretrained language models [24.020149562072127]
我々は,4つの領域におけるステレオタイプバイアスを測定するために,英語の大規模自然データセットであるStereoSetを提案する。
我々は,BERT,GPT-2,RoBERTa,XLNetなどの人気モデルをデータセット上で評価し,これらのモデルが強いステレオタイプバイアスを示すことを示す。
論文 参考訳(メタデータ) (2020-04-20T17:14:33Z) - Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。
コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
論文 参考訳(メタデータ) (2020-04-14T14:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。