論文の概要: How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases
- arxiv url: http://arxiv.org/abs/2102.04130v1
- Date: Mon, 8 Feb 2021 11:10:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 04:55:42.560723
- Title: How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases
- Title(参考訳): GPT-2は本当ですか?
間欠的職業的ビアーゼの実証解析
- Authors: Hannah Kirk, Yennie Jun, Haider Iqbal, Elias Benussi, Filippo Volpin,
Frederic A. Dreyer, Aleksandar Shtedritski, Yuki M. Asano
- Abstract要約: 下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
- 参考スコア(独自算出の注目度): 50.591267188664666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The capabilities of natural language models trained on large-scale data have
increased immensely over the past few years. Downstream applications are at
risk of inheriting biases contained in these models, with potential negative
consequences especially for marginalized groups. In this paper, we analyze the
occupational biases of a popular generative language model, GPT-2, intersecting
gender with five protected categories: religion, sexuality, ethnicity,
political affiliation, and name origin. Using a novel data collection pipeline
we collect 396k sentence completions of GPT-2 and find: (i) The
machine-predicted jobs are less diverse and more stereotypical for women than
for men, especially for intersections; (ii) Fitting 262 logistic models shows
intersectional interactions to be highly relevant for occupational
associations; (iii) For a given job, GPT-2 reflects the societal skew of gender
and ethnicity in the US, and in some cases, pulls the distribution towards
gender parity, raising the normative question of what language models _should_
learn.
- Abstract(参考訳): 大規模なデータで訓練された自然言語モデルの能力は、ここ数年で大幅に増加しました。
下流のアプリケーションはこれらのモデルに含まれるバイアスを継承する危険性があり、特に辺縁化群に負の結果をもたらす可能性がある。
本論文では,宗教,性,民族,政治的所属,名称の5つのカテゴリーで性別を交差させ,人気のジェネレーション言語モデルであるGPT-2の職業バイアスを分析した。
Using a novel data collection pipeline we collect 396k sentence completions of GPT-2 and find: (i) The machine-predicted jobs are less diverse and more stereotypical for women than for men, especially for intersections; (ii) Fitting 262 logistic models shows intersectional interactions to be highly relevant for occupational associations; (iii) For a given job, GPT-2 reflects the societal skew of gender and ethnicity in the US, and in some cases, pulls the distribution towards gender parity, raising the normative question of what language models _should_ learn.
関連論文リスト
- The Male CEO and the Female Assistant: Probing Gender Biases in
Text-To-Image Models Through Paired Stereotype Test [68.84245853250906]
DALLE-3のような最近の大規模テキスト・ツー・イメージ(T2I)モデルは、新しいアプリケーションにおいて大きな可能性を秘めているが、前例のない公平さの課題に直面している。
本稿では,Paired Stereotype Test (PST) のバイアス評価フレームワークを提案する。
以上の結果から,現代T2Iモデルにおける男女差の複雑なパターンが明らかとなり,マルチモーダル生成システムにおける批判的公平性の課題が浮き彫りになった。
論文 参考訳(メタデータ) (2024-02-16T21:32:27Z) - Evaluating Large Language Models through Gender and Racial Stereotypes [0.0]
質比較研究を行い、性別と人種の2種類の偏見を前提として、言語モデルを評価する枠組みを確立する。
より古いモデルに比べて、新しいモデルでは男女の偏見が大幅に減少したが、人種の偏見は依然として存在する。
論文 参考訳(メタデータ) (2023-11-24T18:41:16Z) - Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and
Addressing Sociological Implications [0.0]
この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。
この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。
本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
論文 参考訳(メタデータ) (2023-07-18T11:38:45Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳(メタデータ) (2023-03-20T19:32:49Z) - Exploring Gender Bias in Retrieval Models [2.594412743115663]
情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。
本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。
我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。
また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
論文 参考訳(メタデータ) (2022-08-02T21:12:05Z) - The Birth of Bias: A case study on the evolution of gender bias in an
English language model [1.6344851071810076]
私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。
性別の表現は動的であり、訓練中に異なる位相を識別する。
モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
論文 参考訳(メタデータ) (2022-07-21T00:59:04Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-19T20:05:02Z) - UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。
モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。
我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
論文 参考訳(メタデータ) (2020-10-06T01:49:52Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。