論文の概要: QueerBench: Quantifying Discrimination in Language Models Toward Queer Identities

• arxiv url: http://arxiv.org/abs/2406.12399v1
• Date: Tue, 18 Jun 2024 08:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:56:37.306764
• Title: QueerBench: Quantifying Discrimination in Language Models Toward Queer Identities
• Title（参考訳）: QueerBench: 言語モデルのQuier Identitiesへの識別の定量化
• Authors: Mae Sosto, Alberto Barrón-Cedeño,
• Abstract要約: 我々は、LGBTQIA+の個人に関する英語大言語モデルによって生成された文の完成によって引き起こされる潜在的害を評価する。 この分析は、大きな言語モデルはLGBTQIA+コミュニティ内の個人に対してより頻繁に差別的行動を示す傾向があることを示している。
• 参考スコア（独自算出の注目度）: 4.82206141686275
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the increasing role of Natural Language Processing (NLP) in various applications, challenges concerning bias and stereotype perpetuation are accentuated, which often leads to hate speech and harm. Despite existing studies on sexism and misogyny, issues like homophobia and transphobia remain underexplored and often adopt binary perspectives, putting the safety of LGBTQIA+ individuals at high risk in online spaces. In this paper, we assess the potential harm caused by sentence completions generated by English large language models (LLMs) concerning LGBTQIA+ individuals. This is achieved using QueerBench, our new assessment framework, which employs a template-based approach and a Masked Language Modeling (MLM) task. The analysis indicates that large language models tend to exhibit discriminatory behaviour more frequently towards individuals within the LGBTQIA+ community, reaching a difference gap of 7.2% in the QueerBench score of harmfulness.
• Abstract（参考訳）: 様々な応用における自然言語処理(NLP)の役割の増大に伴い、バイアスやステレオタイプ永続性に関する課題が強調され、しばしばスピーチや害を嫌う。 性差別やミソジニーに関する既存の研究にもかかわらず、ホモフォビアやトランスフォビアのような問題は未解決のままであり、しばしば二項視点を採用し、LGBTQIA+の人々の安全をオンライン空間のリスクの高いものにしている。 本稿では、LGBTQIA+の個人について、英語大言語モデル(LLM)が生成する文の完成によって生じる潜在的損害を評価する。 これはテンプレートベースのアプローチとMasked Language Modeling (MLM)タスクを利用する新しいアセスメントフレームワークであるQuierBenchを使って実現されます。 この分析は、大きな言語モデルはLGBTQIA+コミュニティ内の個人に対してより頻繁に差別的行動を示す傾向にあり、QueerBenchスコアの7.2%に差があることを示している。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias [8.168722337906148]
  本研究では,ジェンダークェア方言の有害な音声分類におけるバイアスの存在について検討した。 LGBTQ+スラーの非退行的使用を実証する109個のテンプレートに基づく新しいデータセットであるQuierLexを紹介する。 筆者らは,これらのテキストの害評価において,市販の5つの言語モデルの性能を体系的に評価した。
  論文  参考訳（メタデータ） (2024-05-23T18:07:28Z)
• Laissez-Faire Harms: Algorithmic Biases in Generative Language Models [0.0]
  そこで本研究では,最も広範に普及しているLMの5つのテキストから合成されたテキストが,未成年者に対する脱落,従属化,ステレオタイピングの被害を永久に及ぼしていることを示す。 我々は、そのような個人が、LM生成出力に遭遇する確率が数百から数千倍にも達するほど、偏見の証拠が広範囲にあることを発見した。 本研究は,言語モデルによる差別的被害から消費者を守るための緊急の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-04-11T05:09:03Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models [6.92043136971035]
  マルチモーダルモデルが男女同一性をどのように扱うかを検討する。 特定の非シスジェンダーのアイデンティティは、人間より少なく、ステレオタイプで、性的にも、一貫して(ミス)表現されている。 これらの改善は、影響のあるコミュニティによって変革が導かれる未来への道を開く可能性がある。
  論文  参考訳（メタデータ） (2023-05-26T16:28:49Z)
• "I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation [69.25368160338043]
  トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。 オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。 我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T04:21:45Z)
• Detection of Homophobia & Transphobia in Dravidian Languages: Exploring Deep Learning Methods [1.5687561161428403]
  ホモフォビアとトランスフォビアはLGBT+コミュニティに対する攻撃的なコメントを構成している。 本稿では,マラヤラムとタミル・ランゲージのソーシャルメディアコメントの分類に異なるディープラーニング・モジュールの適用性を検討する。
  論文  参考訳（メタデータ） (2023-04-03T12:15:27Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
  下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。 一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。 特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
  論文  参考訳（メタデータ） (2021-02-08T11:10:27Z)
• A Framework for the Computational Linguistic Analysis of Dehumanization [52.735780962665814]
  我々は1986年から2015年にかけてニューヨーク・タイムズでLGBTQの人々に関する議論を分析した。 LGBTQの人々の人為的な記述は、時間とともにますます増えています。 大規模に非人間化言語を分析する能力は、メディアバイアスを自動的に検出し、理解するだけでなく、オンラインで乱用する言語にも影響を及ぼす。
  論文  参考訳（メタデータ） (2020-03-06T03:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。