論文の概要: Fewer Errors, but More Stereotypes? The Effect of Model Size on Gender Bias

• arxiv url: http://arxiv.org/abs/2206.09860v1
• Date: Mon, 20 Jun 2022 15:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 15:47:58.109705
• Title: Fewer Errors, but More Stereotypes? The Effect of Model Size on Gender Bias
• Title（参考訳）: エラーは少ないけど ステレオタイプは多い? モデルサイズがジェンダーバイアスに及ぼす影響
• Authors: Yarden Tal, Inbal Magar, Roy Schwartz
• Abstract要約: モデルサイズと性別バイアスの関係について検討する。 一方、より大きなモデルでは、前者のタスクにより高いバイアススコアが与えられるが、後者で評価すると、性別エラーが少なくなる。
• 参考スコア（独自算出の注目度）: 5.077090615019091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The size of pretrained models is increasing, and so is their performance on a variety of NLP tasks. However, as their memorization capacity grows, they might pick up more social biases. In this work, we examine the connection between model size and its gender bias (specifically, occupational gender bias). We measure bias in three masked language model families (RoBERTa, DeBERTa, and T5) in two setups: directly using prompt based method, and using a downstream task (Winogender). We find on the one hand that larger models receive higher bias scores on the former task, but when evaluated on the latter, they make fewer gender errors. To examine these potentially conflicting results, we carefully investigate the behavior of the different models on Winogender. We find that while larger models outperform smaller ones, the probability that their mistakes are caused by gender bias is higher. Moreover, we find that the proportion of stereotypical errors compared to anti-stereotypical ones grows with the model size. Our findings highlight the potential risks that can arise from increasing model size.
• Abstract（参考訳）: 事前訓練されたモデルのサイズは増加しており、様々なNLPタスクのパフォーマンスも向上している。 しかし記憶能力が高まるにつれて、社会的偏見が高まるかもしれない。 本研究では,モデルサイズとその性別バイアス(特に職業性バイアス)との関係について検討する。 我々は,3つのマスキング言語モデルファミリー(RoBERTa,DeBERTa,T5)のバイアスを,プロンプトベースのメソッドを直接使用し,下流タスク(Winogender)を用いて測定する。 一方、より大きなモデルでは、前のタスクでより高いバイアススコアが得られているが、後者で評価すると、性別エラーは少なくなる。 これらの競合する可能性のある結果を調べるため、Winogender上の異なるモデルの挙動を慎重に検討する。 より大きなモデルはより小さなモデルよりも優れているが、それらのミスが性別バイアスによって引き起こされる確率は高い。 さらに, モデルサイズに比例して, ステレオタイプ誤差の比率が大きくなることが判明した。 本研究は,モデルサイズの増加に伴う潜在的なリスクを明らかにする。

関連論文リスト

• The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects [58.27353205269664]
  本稿では,Paired Stereotype Test (PST) フレームワークを提案する。 PSTクエリT2Iモデルは、男性ステレオタイプと女性ステレオタイプに割り当てられた2つの個人を描写する。 PSTを用いて、ジェンダーバイアスの2つの側面、つまり、ジェンダーの職業におけるよく知られたバイアスと、組織力におけるバイアスという新しい側面を評価する。
  論文  参考訳（メタデータ） (2024-02-16T21:32:27Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)
• Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
  我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。 現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。 私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
  論文  参考訳（メタデータ） (2022-01-25T02:21:42Z)
• Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation [10.542861450223128]
  3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。 我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
  論文  参考訳（メタデータ） (2021-09-08T18:14:11Z)
• Exploring Biases and Prejudice of Facial Synthesis via Semantic Latent Space [1.858151490268935]
  この研究は、生成モデルの振る舞いをバイアス化し、バイアスの原因を特定し、それらを取り除くことを目的としている。 予想通り、偏りのあるデータが顔のフロンダル化モデルの偏りのある予測を引き起こすと結論付けることができる。 その結果、50:50の割合の明らかな選択は、このデータセットが女性の顔に偏った振る舞いを減らすのに最適ではないことがわかった。
  論文  参考訳（メタデータ） (2021-08-23T16:09:18Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Do Neural Ranking Models Intensify Gender Bias? [13.37092521347171]
  まず、IRモデルのランキングリストにおいて、性別関連概念の非バランスの存在度を定量化するための2つの指標を含むバイアス測定フレームワークを提供する。 これらのクエリをMS MARCOパッセージ検索コレクションに適用し、BM25モデルと最近のニューラルランキングモデルの性別バイアスを測定する。 結果は、すべてのモデルが男性に対して強く偏りを呈する一方で、神経モデル、特に文脈化された埋め込みモデルに基づくモデルは、性バイアスを著しく強めていることを示している。
  論文  参考訳（メタデータ） (2020-05-01T13:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。