論文の概要: Beyond Binary Gender Labels: Revealing Gender Biases in LLMs through Gender-Neutral Name Predictions
- arxiv url: http://arxiv.org/abs/2407.05271v1
- Date: Sun, 7 Jul 2024 05:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:27:05.593104
- Title: Beyond Binary Gender Labels: Revealing Gender Biases in LLMs through Gender-Neutral Name Predictions
- Title（参考訳）: 二元性ラベルを超えて:性-神経的名前予測によるLDMにおける性バイアスの解明
- Authors: Zhiwen You, HaeJin Lee, Shubhanshu Mishra, Sullam Jeoung, Apratim Mishra, Jinseok Kim, Jana Diesner,
- Abstract要約: 我々は、大きな言語モデルにおける潜在的な性バイアスについて研究し、対処するために、さらにジェンダーカテゴリー、すなわち「中立」を導入する。
性別予測の精度を高めるために出生年を増やすことの影響について検討する。
- 参考スコア（独自算出の注目度）: 5.896505047270243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Name-based gender prediction has traditionally categorized individuals as either female or male based on their names, using a binary classification system. That binary approach can be problematic in the cases of gender-neutral names that do not align with any one gender, among other reasons. Relying solely on binary gender categories without recognizing gender-neutral names can reduce the inclusiveness of gender prediction tasks. We introduce an additional gender category, i.e., "neutral", to study and address potential gender biases in Large Language Models (LLMs). We evaluate the performance of several foundational and large language models in predicting gender based on first names only. Additionally, we investigate the impact of adding birth years to enhance the accuracy of gender prediction, accounting for shifting associations between names and genders over time. Our findings indicate that most LLMs identify male and female names with high accuracy (over 80%) but struggle with gender-neutral names (under 40%), and the accuracy of gender prediction is higher for English-based first names than non-English names. The experimental results show that incorporating the birth year does not improve the overall accuracy of gender prediction, especially for names with evolving gender associations. We recommend using caution when applying LLMs for gender identification in downstream tasks, particularly when dealing with non-binary gender labels.
- Abstract（参考訳）: 名前に基づく性別予測は伝統的に、二項分類システムを用いて、名前に基づいて個人を女性または男性に分類してきた。
この二項性アプローチは、どの性別とも一致しない性中立的な名前の場合に問題となることがある。
性別ニュートラルな名前を認識することなく、二項性カテゴリーのみに限定することで、性別予測タスクの包括性を低下させることができる。
我々は,大規模言語モデル(LLM)における潜在的な性バイアスを研究・解決するために,ジェンダーカテゴリー,すなわちニュートラルを導入する。
名詞名のみに基づく性別予測において,いくつかの基礎的・大規模言語モデルの性能評価を行った。
さらに,性別予測の精度を高めるために出生年を増やすことの影響について検討した。
以上の結果から,男性名,女性名,男性名,女性名,男性名,女性名,男性名,女性名,男性名,女性名,男性名,男性名,女性名,女性名,男性名,女性名,男性名,女性名,男性名,女性名,男性名,男性名,女性名,男性名,女性名,男性名,女性名,男性名,男性名,女性名,女性名,男性名,女性名,男性名,女性名,女性名,男性名,女性名,男性名,女性名,女性名,女性名,女性名,女性名,男性名,女性名,女性名,女性名,女性名,女性名,女性名,女性名,女性名,女性名,女性
以上の結果から, 出生年を取り入れた場合, 性別予測の総合的精度は向上しないことが明らかとなった。
下流タスクにおけるジェンダー識別にLDMを適用する場合,特に非バイナリジェンダーラベルを扱う場合には,注意を払うことを推奨する。
関連論文リスト
- Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender
Perturbation over Fairytale Texts [87.62403265382734]
近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。
本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
論文 参考訳（メタデータ） (2023-10-16T22:25:09Z) - Exploring the Impact of Training Data Distribution and Subword
Tokenization on Gender Bias in Machine Translation [19.719314005149883]
機械翻訳における性別バイアスに対するトークン化の効果について検討する。
職業名の女性および非ステレオタイプ性差は、サブワードトークンに分割される傾向にある。
その結果, 単語分割の分析は, トレーニングデータにおける性別形態の不均衡の予測に有効であることが示唆された。
論文 参考訳（メタデータ） (2023-09-21T21:21:55Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z) - Gender, names and other mysteries: Towards the ambiguous for
gender-inclusive translation [7.322734499960981]
本稿では,元文が明示的なジェンダーマーカーを欠いている場合について考察するが,目的文はより豊かな文法的ジェンダーによってそれらを含む。
MTデータ中の多くの名前と性別の共起は、ソース言語の「あいまいな性別」で解決できないことがわかった。
ジェンダー・インクルージョンの両面での曖昧さを受け入れるジェンダー・インクルージョン・トランスフォーメーションの可能性について論じる。
論文 参考訳（メタデータ） (2023-06-07T16:21:59Z) - MISGENDERED: Limits of Large Language Models in Understanding Pronouns [46.276320374441056]
我々は、英語のジェンダーニュートラル代名詞を正しく活用する能力について、人気言語モデルの評価を行った。
提案するMISGENDEREDは,大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。
論文 参考訳（メタデータ） (2023-06-06T18:27:52Z) - Temporal Analysis and Gender Bias in Computing [0.0]
何十年にもわたって性別が変わる「レスリー問題」
この記事では、1925-1975年に測定可能な「ジェンダーシフト」を持つ300の与えられた名前を特定する。
この記事は、数十年前の女性の過多(および男性の過小評価)を招きかねない「女性シフト」が存在することを定量的に示している。
論文 参考訳（メタデータ） (2022-09-29T00:29:43Z) - Measuring Gender Bias in Word Embeddings of Gendered Languages Requires
Disentangling Grammatical Gender Signals [3.0349733976070015]
単語埋め込みは、文法性のある言語における名詞とその文法性との関係を学習することを示した。
単語埋め込みから文法的ジェンダー信号を引き離すことは、セマンティック機械学習タスクの改善につながる可能性があることを示す。
論文 参考訳（メタデータ） (2022-06-03T17:11:00Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-19T20:05:02Z) - What's in a Name? -- Gender Classification of Names with Character Based
Machine Learning Models [6.805167389805055]
本稿では,登録ユーザの性別を宣言された名前に基づいて予測する問題を考察する。
1億人以上の利用者のファーストネームを分析したところ、性別は名前文字列の合成によって非常に効果的に分類できることがわかった。
論文 参考訳（メタデータ） (2021-02-07T01:01:32Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。