論文の概要: Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation
- arxiv url: http://arxiv.org/abs/2205.09830v1
- Date: Thu, 19 May 2022 20:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 14:27:35.839397
- Title: Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation
- Title(参考訳): 自然言語生成におけるジェンダー・プライオリティ複合バイアスの理解に向けて
- Authors: Samhita Honnavalli, Aesha Parekh, Lily Ou, Sophie Groenwold, Sharon
Levy, Vicente Ordonez, William Yang Wang
- Abstract要約: 本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
- 参考スコア(独自算出の注目度): 64.65911758042914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Women are often perceived as junior to their male counterparts, even within
the same job titles. While there has been significant progress in the
evaluation of gender bias in natural language processing (NLP), existing
studies seldom investigate how biases toward gender groups change when
compounded with other societal biases. In this work, we investigate how
seniority impacts the degree of gender bias exhibited in pretrained neural
generation models by introducing a novel framework for probing compound bias.
We contribute a benchmark robustness-testing dataset spanning two domains, U.S.
senatorship and professorship, created using a distant-supervision method. Our
dataset includes human-written text with underlying ground truth and paired
counterfactuals. We then examine GPT-2 perplexity and the frequency of gendered
language in generated text. Our results show that GPT-2 amplifies bias by
considering women as junior and men as senior more often than the ground truth
in both domains. These results suggest that NLP applications built using GPT-2
may harm women in professional capacities.
- Abstract(参考訳): 女性はしばしば男性よりも若いと見なされるが、同じ肩書き内でもそうである。
自然言語処理(nlp)における性バイアスの評価には大きな進展があるが、他の社会バイアスと組み合わせた場合、性グループに対するバイアスがどのように変化するかはほとんど研究されていない。
本研究では,プレトレーニングニューラルジェネレーションモデルにおける性バイアスの程度に高齢者が与える影響について,複合バイアスを探索する新しい枠組みを導入することにより検討する。
本稿では,米国上院議員と教授の2つの領域にまたがるベンチマークロバストネステストデータセットを,遠距離スーパービジョン法を用いて作成した。
我々のデータセットには、基礎となる真実とペア化された反事実を含む人文テキストが含まれています。
次に、生成したテキストにおけるGPT-2の難易度とジェンダー言語頻度について検討する。
以上の結果から,gpt-2は,女性を中高生,男性を年長者とみなしてバイアスを増幅することが示唆された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, 職業能力において女性に害を与える可能性が示唆された。
関連論文リスト
- Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討
以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。
これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
論文 参考訳(メタデータ) (2024-10-25T05:59:44Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳(メタデータ) (2024-07-23T08:13:51Z) - ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT
Generated English Text [11.085070600065801]
言語は、社会的信念システムの顕在化のための強力なツールとして機能する。
ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。
我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
論文 参考訳(メタデータ) (2023-10-26T14:34:06Z) - "I'm fully who I am": Towards Centering Transgender and Non-Binary
Voices to Measure Biases in Open Language Generation [69.25368160338043]
トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。
オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。
我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
論文 参考訳(メタデータ) (2023-05-17T04:21:45Z) - Exploring Gender Bias in Retrieval Models [2.594412743115663]
情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。
本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。
我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。
また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
論文 参考訳(メタデータ) (2022-08-02T21:12:05Z) - A Survey on Gender Bias in Natural Language Processing [22.91475787277623]
自然言語処理における性別バイアスに関する304論文について調査する。
ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。
性別偏見の研究は、4つの中核的な限界に悩まされている。
論文 参考訳(メタデータ) (2021-12-28T14:54:18Z) - Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
推論による自然言語理解における性別バイアスの評価手法を提案する。
チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。
その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
論文 参考訳(メタデータ) (2021-05-12T09:41:51Z) - How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文 参考訳(メタデータ) (2021-02-08T11:10:27Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。