論文の概要: Theory-Grounded Measurement of U.S. Social Stereotypes in English
Language Models
- arxiv url: http://arxiv.org/abs/2206.11684v1
- Date: Thu, 23 Jun 2022 13:22:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 13:44:13.137149
- Title: Theory-Grounded Measurement of U.S. Social Stereotypes in English
Language Models
- Title(参考訳): 英語モデルにおける米国社会ステレオタイプの理論的計測
- Authors: Yang Trista Cao, Anna Sotnikova, Hal Daum\'e III, Rachel Rudinger,
Linda Zou
- Abstract要約: 我々は、言語モデル(LM)におけるステレオタイプ・トレーディングの体系的研究と発見のための枠組みとして、エージェンシー・ビリーフ・コミュニオン・ステレオタイプモデルを適用した。
言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。
我々は、米国在住の被験者からグループトレイト判断を収集し、英語のLMステレオタイプと比較した。
- 参考スコア(独自算出の注目度): 12.475204687181067
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: NLP models trained on text have been shown to reproduce human stereotypes,
which can magnify harms to marginalized groups when systems are deployed at
scale. We adapt the Agency-Belief-Communion (ABC) stereotype model of Koch et
al. (2016) from social psychology as a framework for the systematic study and
discovery of stereotypic group-trait associations in language models (LMs). We
introduce the sensitivity test (SeT) for measuring stereotypical associations
from language models. To evaluate SeT and other measures using the ABC model,
we collect group-trait judgments from U.S.-based subjects to compare with
English LM stereotypes. Finally, we extend this framework to measure LM
stereotyping of intersectional identities.
- Abstract(参考訳): テキストでトレーニングされたNLPモデルは人間のステレオタイプを再現することが示されている。
我々は,言語モデル(LM)におけるステレオタイプグループ・トレーディング・アソシエーションの体系的研究と発見の枠組みとして,コッホら(2016)のABCステレオタイプモデルを社会心理学から適応する。
言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。
abcモデルを用いて集合およびその他の尺度を評価するために,米国を対象とする集団特性判断を収集し,英語のlmステレオタイプと比較した。
最後に、この枠組みを拡張し、交叉idのlmステレオタイプを測定する。
関連論文リスト
- Multilingual large language models leak human stereotypes across
language boundaries [27.44800483421269]
我々は、英語、ロシア語、中国語、ヒンディー語という4つの言語にまたがるステレオタイプ的関連について検討する。
以上の結果から,全言語で陽性,陰性,非極性な関連が明らかとなった。
論文 参考訳(メタデータ) (2023-12-12T10:24:17Z) - Social Bias Probing: Fairness Benchmarking for Language Models [48.5644008956526]
本稿では,社会的バイアスに対する言語モデル探索のための独自のフレームワークを提案する。
我々は,言語モデルの一般関連を分析するための探索データセットを収集し,社会的カテゴリ,アイデンティティ,ステレオタイプなどの軸に沿って収集する。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models [11.218531873222398]
大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T17:22:30Z) - Evaluating Biased Attitude Associations of Language Models in an
Intersectional Context [2.891314299138311]
言語モデルは、心理学で文書化された暗黙のバイアスを埋め込んだ大規模コーパスで訓練される。
我々は、年齢、教育、性別、身長、知性、識字性、人種、宗教、性、性的指向、社会階級、体重に関するバイアスを研究する。
言語モデルは、性同一性、社会的階級、性的指向のシグナルに対して最も偏りのある態度を示す。
論文 参考訳(メタデータ) (2023-07-07T03:01:56Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳(メタデータ) (2023-03-20T19:32:49Z) - Easily Accessible Text-to-Image Generation Amplifies Demographic
Stereotypes at Large Scale [61.555788332182395]
危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。
さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
論文 参考訳(メタデータ) (2022-11-07T18:31:07Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - Understanding and Countering Stereotypes: A Computational Approach to
the Stereotype Content Model [4.916009028580767]
ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。
SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。
反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
論文 参考訳(メタデータ) (2021-06-04T16:53:37Z) - How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文 参考訳(メタデータ) (2021-02-08T11:10:27Z) - CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked
Language Models [30.582132471411263]
Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。
CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。
その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
論文 参考訳(メタデータ) (2020-09-30T22:38:40Z) - Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by
Ranking Algorithms [68.85295025020942]
本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。
GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
論文 参考訳(メタデータ) (2020-09-02T20:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。