論文の概要: MISGENDERED: Limits of Large Language Models in Understanding Pronouns

• arxiv url: http://arxiv.org/abs/2306.03950v2
• Date: Fri, 7 Jul 2023 05:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 15:05:36.802972
• Title: MISGENDERED: Limits of Large Language Models in Understanding Pronouns
• Title（参考訳）: MISGENDERED:名詞理解における大規模言語モデルの限界
• Authors: Tamanna Hossain, Sunipa Dev, Sameer Singh
• Abstract要約: 我々は、英語のジェンダーニュートラル代名詞を正しく活用する能力について、人気言語モデルの評価を行った。 提案するMISGENDEREDは,大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 46.276320374441056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content Warning: This paper contains examples of misgendering and erasure that could be offensive and potentially triggering. Gender bias in language technologies has been widely studied, but research has mostly been restricted to a binary paradigm of gender. It is essential also to consider non-binary gender identities, as excluding them can cause further harm to an already marginalized group. In this paper, we comprehensively evaluate popular language models for their ability to correctly use English gender-neutral pronouns (e.g., singular they, them) and neo-pronouns (e.g., ze, xe, thon) that are used by individuals whose gender identity is not represented by binary pronouns. We introduce MISGENDERED, a framework for evaluating large language models' ability to correctly use preferred pronouns, consisting of (i) instances declaring an individual's pronoun, followed by a sentence with a missing pronoun, and (ii) an experimental setup for evaluating masked and auto-regressive language models using a unified method. When prompted out-of-the-box, language models perform poorly at correctly predicting neo-pronouns (averaging 7.7% accuracy) and gender-neutral pronouns (averaging 34.2% accuracy). This inability to generalize results from a lack of representation of non-binary pronouns in training data and memorized associations. Few-shot adaptation with explicit examples in the prompt improves performance for neo-pronouns, but only to 64.7% even with 20 shots. We release the full dataset, code, and demo at https://tamannahossainkay.github.io/misgendered/
• Abstract（参考訳）: コンテンツ警告: 本論文は悪質で潜在的に引き起こされる可能性のある誤生成と消去の例を含む。 言語技術におけるジェンダーバイアスは広く研究されてきたが、研究は主に二項性パラダイムに限られている。 また、非二項性同一性(non-binary gender identities)も考慮する必要がある。 本稿では、英語の性中立代名詞(単数代名詞など)とネオ代名詞(例えば、ze,xe,thon)を、二元代名詞で表現されていない個人によって正しく使用する能力について、一般的な言語モデルについて包括的に評価する。 MISGENDEREDは、大言語モデルが好む代名詞を正しく活用する能力を評価するためのフレームワークである。 (i)個人の代名詞を宣言する例、欠落代名詞のある文、及び (ii)統一手法を用いたマスク・自己回帰型言語モデルの評価のための実験的セットアップ アウト・オブ・ボックスでは、新名詞(精度7.7%)とジェンダーニュートラル代名詞(正確34.2%)の正確な予測が不十分である。 この一般化できないことは、訓練データや記憶された関連における非二項代名詞の表現の欠如による結果である。 プロンプトの明示的な例による少数ショット適応はネオプロ名詞のパフォーマンスを改善するが、20ショットでも64.7%にしか達しない。 完全なデータセット、コード、デモはhttps://tamannahossainkay.github.io/misgendered/で公開しています。

関連論文リスト

• Mitigating Bias in Queer Representation within Large Language Models: A Collaborative Agent Approach [0.0]
  大きな言語モデル(LLM)は、しばしば代名詞の用法においてバイアスを持続させ、キーア個人を誤って表現したり排除したりする。 本稿では、LLM出力における偏り付き代名詞の使用の特定の問題、特に伝統的性別付き代名詞の不適切な使用について論じる。 本稿では,これらのバイアスを軽減するための協調的エージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-12T09:14:16Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Transforming Dutch: Debiasing Dutch Coreference Resolution Systems for Non-binary Pronouns [5.5514102920271196]
  ジェンダーニュートラルな代名詞は、西欧語で導入されつつある。 最近の評価では、英語のNLPシステムはジェンダーニュートラル代名詞を正しく処理できないことが示されている。 本稿では,オランダ語の男女中性代名詞に対する基準分解システムの性能について検討する。
  論文  参考訳（メタデータ） (2024-04-30T18:31:19Z)
• Tokenization Matters: Navigating Data-Scarce Tokenization for Gender Inclusive Language Technologies [75.85462924188076]
  ジェンダー非包括的NLP研究は、ジェンダーバイナリ中心大言語モデル(LLM)の有害な制限を文書化している。 誤認識はByte-Pair(BPE)トークン化によって大きく影響されている。 本研究では,(1)代名詞の代名詞化パリティ,(2)代名詞間の一貫した代名詞化を強制する手法,および(2)既存のLLM代名詞の知識を活用して新代名詞の習熟度を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T01:28:46Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• "I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation [69.25368160338043]
  トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。 オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。 我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T04:21:45Z)
• How Conservative are Language Models? Adapting to the Introduction of Gender-Neutral Pronouns [0.15293427903448023]
  スウェーデン語では、ジェンダーニュートラル代名詞は、人間の処理困難とは無関係であることを示す。 デンマーク語、英語、スウェーデン語のジェンダーニュートラル代名詞は、より難易度が高く、注意パターンが分散し、下流のパフォーマンスが悪化していることを示す。
  論文  参考訳（メタデータ） (2022-04-11T09:42:02Z)
• Welcome to the Modern World of Pronouns: Identity-Inclusive Natural Language Processing beyond Gender [23.92148222207458]
  自然言語処理における3人称代名詞問題の概要について概説する。 既存および新規なモデリング手法の評価を行う。 我々は、より差別のないアプローチが確立されたベンチマークデータに与える影響を定量化する。
  論文  参考訳（メタデータ） (2022-02-24T06:42:11Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。