論文の概要: MISGENDERED: Limits of Large Language Models in Understanding Pronouns
- arxiv url: http://arxiv.org/abs/2306.03950v2
- Date: Fri, 7 Jul 2023 05:18:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 15:05:36.802972
- Title: MISGENDERED: Limits of Large Language Models in Understanding Pronouns
- Title(参考訳): MISGENDERED:名詞理解における大規模言語モデルの限界
- Authors: Tamanna Hossain, Sunipa Dev, Sameer Singh
- Abstract要約: 我々は、英語のジェンダーニュートラル代名詞を正しく活用する能力について、人気言語モデルの評価を行った。
提案するMISGENDEREDは,大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。
- 参考スコア(独自算出の注目度): 46.276320374441056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content Warning: This paper contains examples of misgendering and erasure
that could be offensive and potentially triggering.
Gender bias in language technologies has been widely studied, but research
has mostly been restricted to a binary paradigm of gender. It is essential also
to consider non-binary gender identities, as excluding them can cause further
harm to an already marginalized group. In this paper, we comprehensively
evaluate popular language models for their ability to correctly use English
gender-neutral pronouns (e.g., singular they, them) and neo-pronouns (e.g., ze,
xe, thon) that are used by individuals whose gender identity is not represented
by binary pronouns. We introduce MISGENDERED, a framework for evaluating large
language models' ability to correctly use preferred pronouns, consisting of (i)
instances declaring an individual's pronoun, followed by a sentence with a
missing pronoun, and (ii) an experimental setup for evaluating masked and
auto-regressive language models using a unified method. When prompted
out-of-the-box, language models perform poorly at correctly predicting
neo-pronouns (averaging 7.7% accuracy) and gender-neutral pronouns (averaging
34.2% accuracy). This inability to generalize results from a lack of
representation of non-binary pronouns in training data and memorized
associations. Few-shot adaptation with explicit examples in the prompt improves
performance for neo-pronouns, but only to 64.7% even with 20 shots. We release
the full dataset, code, and demo at
https://tamannahossainkay.github.io/misgendered/
- Abstract(参考訳): コンテンツ警告: 本論文は悪質で潜在的に引き起こされる可能性のある誤生成と消去の例を含む。
言語技術におけるジェンダーバイアスは広く研究されてきたが、研究は主に二項性パラダイムに限られている。
また、非二項性同一性(non-binary gender identities)も考慮する必要がある。
本稿では、英語の性中立代名詞(単数代名詞など)とネオ代名詞(例えば、ze,xe,thon)を、二元代名詞で表現されていない個人によって正しく使用する能力について、一般的な言語モデルについて包括的に評価する。
MISGENDEREDは、大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。
(i)個人の代名詞を宣言する例、欠落代名詞のある文、及び
(ii)統一手法を用いたマスク・自己回帰型言語モデルの評価のための実験的セットアップ
アウト・オブ・ボックスでは、新名詞(精度7.7%)とジェンダーニュートラル代名詞(正確34.2%)の正確な予測が不十分である。
この一般化できないことは、訓練データや記憶された関連における非二項代名詞の表現の欠如による結果である。
プロンプトの明示的な例による少数ショット適応はネオプロ名詞のパフォーマンスを改善するが、20ショットでも64.7%にしか達しない。
完全なデータセット、コード、デモはhttps://tamannahossainkay.github.io/misgendered/で公開しています。
関連論文リスト
- Are you talking to ['xem'] or ['x', 'em']? On Tokenization and
Addressing Misgendering in LLMs with Pronoun Tokenization Parity [79.41081292703352]
代名詞のトークン化パリティ (PTP) は, トークンの機能的構造を保ち, 新生代名詞の誤認を減らすための新しいアプローチである。
代名詞の整合性に基づく尺度と新しい構文に基づく尺度を用いて,PTPの有効性を評価する。
論文 参考訳(メタデータ) (2023-12-19T01:28:46Z) - Grammatical Gender's Influence on Distributional Semantics: A Causal
Perspective [100.47362690469669]
言語間のジェンダーの割り当てにどの程度の意味が影響するかは、現代言語学と認知科学における活発な研究分野である。
我々は、名詞の文法的性別、意味、形容詞選択の間の相互作用を共同で表現する、新しい因果的グラフィカルモデルを提供する。
文法的ジェンダーが形容詞選択にほぼゼロ効果があることに気付き、ネオ・ヴォルフの仮説を疑問視する。
論文 参考訳(メタデータ) (2023-11-30T13:58:13Z) - How To Build Competitive Multi-gender Speech Translation Models For
Controlling Speaker Gender Translation [21.125217707038356]
発音性言語から文法性言語に翻訳する場合、生成された翻訳は、話者を参照する者を含む様々な単語に対して、明確なジェンダー代入を必要とする。
このような偏見や包括的行動を避けるために、話者の性別に関する外部から提供されたメタデータによって、話者関連表現の性別割当を導出すべきである。
本稿では、話者のジェンダーメタデータを単一の「マルチジェンダー」ニューラルSTモデルに統合し、維持しやすくすることで、同じ結果を達成することを目的とする。
論文 参考訳(メタデータ) (2023-10-23T17:21:32Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳(メタデータ) (2023-06-21T17:59:51Z) - "I'm fully who I am": Towards Centering Transgender and Non-Binary
Voices to Measure Biases in Open Language Generation [69.25368160338043]
トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。
オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。
我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
論文 参考訳(メタデータ) (2023-05-17T04:21:45Z) - Model-Agnostic Gender Debiased Image Captioning [29.640940966944697]
イメージキャプションモデルは、トレーニングセットにおける有害な社会的バイアスを永続化し、増幅することが知られている。
我々は、合成バイアスされたサンプルから学習し、両方のバイアスを減少させるLIBRAというフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-07T15:30:49Z) - Don't Forget About Pronouns: Removing Gender Bias in Language Models
Without Losing Factual Gender Information [4.391102490444539]
英語のテキストでは、ジェンダー情報とジェンダーバイアスの2つのタイプに焦点を当てている。
ジェンダーシグナルを保存しながら表現のステレオタイプバイアスを小さくすることを目的としている。
論文 参考訳(メタデータ) (2022-06-21T21:38:25Z) - How Conservative are Language Models? Adapting to the Introduction of
Gender-Neutral Pronouns [0.15293427903448023]
スウェーデン語では、ジェンダーニュートラル代名詞は、人間の処理困難とは無関係であることを示す。
デンマーク語、英語、スウェーデン語のジェンダーニュートラル代名詞は、より難易度が高く、注意パターンが分散し、下流のパフォーマンスが悪化していることを示す。
論文 参考訳(メタデータ) (2022-04-11T09:42:02Z) - Welcome to the Modern World of Pronouns: Identity-Inclusive Natural
Language Processing beyond Gender [23.92148222207458]
自然言語処理における3人称代名詞問題の概要について概説する。
既存および新規なモデリング手法の評価を行う。
我々は、より差別のないアプローチが確立されたベンチマークデータに与える影響を定量化する。
論文 参考訳(メタデータ) (2022-02-24T06:42:11Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。