論文の概要: Evaluating Gender Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.09826v1
• Date: Thu, 14 Nov 2024 22:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:36.549913
• Title: Evaluating Gender Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるジェンダーバイアスの評価
• Authors: Michael Döll, Markus Döhring, Andreas Müller,
• Abstract要約: 本研究では,大規模言語モデル (LLMs) が職業文脈における代名詞選択における性別バイアスの程度について検討した。 対象とする職業は、男性に有意な存在感を持つものから女性に有意な集中力を持つものまで幅広い。 その結果, モデルの代名詞選択と, 労働力データに存在する性別分布との間には, 正の相関関係が認められた。
• 参考スコア（独自算出の注目度）: 0.8636148452563583
• License:
• Abstract: Gender bias in artificial intelligence has become an important issue, particularly in the context of language models used in communication-oriented applications. This study examines the extent to which Large Language Models (LLMs) exhibit gender bias in pronoun selection in occupational contexts. The analysis evaluates the models GPT-4, GPT-4o, PaLM 2 Text Bison and Gemini 1.0 Pro using a self-generated dataset. The jobs considered include a range of occupations, from those with a significant male presence to those with a notable female concentration, as well as jobs with a relatively equal gender distribution. Three different sentence processing methods were used to assess potential gender bias: masked tokens, unmasked sentences, and sentence completion. In addition, the LLMs suggested names of individuals in specific occupations, which were then examined for gender distribution. The results show a positive correlation between the models' pronoun choices and the gender distribution present in U.S. labor force data. Female pronouns were more often associated with female-dominated occupations, while male pronouns were more often associated with male-dominated occupations. Sentence completion showed the strongest correlation with actual gender distribution, while name generation resulted in a more balanced 'politically correct' gender distribution, albeit with notable variations in predominantly male or female occupations. Overall, the prompting method had a greater impact on gender distribution than the model selection itself, highlighting the complexity of addressing gender bias in LLMs. The findings highlight the importance of prompting in gender mapping.
• Abstract（参考訳）: 人工知能におけるジェンダーバイアスは、特にコミュニケーション指向アプリケーションで使用される言語モデルにおける重要な問題となっている。 本研究では,大規模言語モデル (LLMs) が職業文脈における代名詞選択における性別バイアスの程度について検討した。 この分析は、自己生成データセットを用いて、GPT-4、GPT-4o、PaLM 2 Text Bison、Gemini 1.0 Proのモデルを評価する。 検討対象の職業は、男性に有意な存在感を持つ人から女性に有意な集中力を持つ人まで幅広い職業と、男女の分布が比較的等しい仕事を含む。 3つの異なる文処理手法を用いて、潜在的な性バイアス(マスク付きトークン、未一致文、文完成)を評価する。 さらに、LSMは特定の職業の個人の名前を提案し、その後性別分布について調査した。 その結果, モデルの代名詞選択と, 労働力データに存在する性別分布との間には, 正の相関関係が認められた。 女性代名詞は女性代名詞に、男性代名詞は男性代名詞に、女性代名詞は男性代名詞に関係していた。 文の完成は、実際の性別分布と最も強い相関を示し、名前の生成は、主に男性や女性の職業に顕著な違いがあるにもかかわらず、よりバランスの取れた「政治的に正しい」性別分布をもたらした。 全体として、プロンプト法は、モデル選択自体よりも性分布に大きな影響を与え、LSMにおける性バイアスに対処する複雑さを強調した。 この結果は,ジェンダーマッピングの促進の重要性を浮き彫りにした。

関連論文リスト

• Gender Bias in Decision-Making with Large Language Models: A Study of Relationship Conflicts [15.676219253088211]
  大規模言語モデル(LLM)におけるジェンダーエクイティを意思決定レンズを用いて検討する。 我々は3つの名前リスト(男性、女性、中立)にまたがる名前ペアを通して9つの関係構成を探索する。
  論文  参考訳（メタデータ） (2024-10-14T20:50:11Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Gender Bias in Large Language Models across Multiple Languages [10.068466432117113]
  異なる言語で生成される大言語モデル(LLM)の性別バイアスについて検討する。 1) 性別関連文脈から記述的単語を選択する際の性別バイアス。 2) 性別関連代名詞を選択する際の性別バイアスは, 記述語を付与する。
  論文  参考訳（メタデータ） (2024-03-01T04:47:16Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation [10.542861450223128]
  3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。 我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
  論文  参考訳（メタデータ） (2021-09-08T18:14:11Z)
• How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
  下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。 一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。 特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
  論文  参考訳（メタデータ） (2021-02-08T11:10:27Z)
• How to Measure Gender Bias in Machine Translation: Optimal Translators, Multiple Reference Points [0.0]
  我々は、ジェンダーニュートラルな代名詞を持つ言語であるハンガリー語から、職業名を含む文を英語に翻訳する。 本研究の目的は, 翻訳を最適な非バイアス翻訳者と比較することにより, バイアスの公平な尺度を提示することであった。 その結果、両性に偏りが認められたが、女性に偏った結果の方がはるかに多いことが判明した。
  論文  参考訳（メタデータ） (2020-11-12T15:39:22Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。