論文の概要: Man Made Language Models? Evaluating LLMs' Perpetuation of Masculine Generics Bias

• arxiv url: http://arxiv.org/abs/2502.10577v1
• Date: Fri, 14 Feb 2025 22:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:19.263824
• Title: Man Made Language Models? Evaluating LLMs' Perpetuation of Masculine Generics Bias
• Title（参考訳）: 人為的言語モデル : LLMによる男性系遺伝子バイアスの永続性の評価
• Authors: Enzo Doyen, Amalia Todirascu,
• Abstract要約: 本稿では,フランス語の汎用命令に対する男性ジェネリック(MG)の使用状況について分析する。 MGは中立ではなく、性バイアスを引き起こす。 また,LSMはジェンダーフェア言語を自然に使用するのに消極的であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) have been shown to propagate and even amplify gender bias, in English and other languages, in specific or constrained contexts. However, no studies so far have focused on gender biases conveyed by LLMs' responses to generic instructions, especially with regard to masculine generics (MG). MG are a linguistic feature found in many gender-marked languages, denoting the use of the masculine gender as a "default" or supposedly neutral gender to refer to mixed group of men and women, or of a person whose gender is irrelevant or unknown. Numerous psycholinguistics studies have shown that MG are not neutral and induce gender bias. This work aims to analyze the use of MG by both proprietary and local LLMs in responses to generic instructions and evaluate their MG bias rate. We focus on French and create a human noun database from existing lexical resources. We filter existing French instruction datasets to retrieve generic instructions and analyze the responses of 6 different LLMs. Overall, we find that $\approx$39.5\% of LLMs' responses to generic instructions are MG-biased ($\approx$73.1\% across responses with human nouns). Our findings also reveal that LLMs are reluctant to using gender-fair language spontaneously.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特定の文脈や制約のある文脈において、英語や他の言語において、性バイアスを伝播し、さらに増幅することが示されている。 しかし、これまでの研究では、LCMの一般的な指示に対する反応、特に男性ジェネリックス(MG)に対する性差に焦点が当てられていない。 MGは、男性性の性別を「デフォルト」または「中立性」と表現し、男女の混成グループ、または性別が無関係または未知の人物を指す言語的特徴である。 多くの精神言語学の研究により、MGは中立ではなく、性バイアスを引き起こすことが示されている。 本研究の目的は、汎用的な指示に対する応答として、プロプライエタリなLLMとローカルなLLMの両方でMGの使用を分析し、MGバイアス率を評価することである。 我々は、フランス語に焦点をあて、既存の語彙資源から人間の名詞データベースを作成します。 既存のフランス語命令データセットをフィルタリングし、ジェネリック命令を検索し、6つの異なるLLMの応答を解析する。 全体として、ジェネリックインストラクションに対する LLM のレスポンスの $\approx$39.5\% は MG-biased ("\approx$73.1\% across response with human nouns") であることが分かる。 また,LSMはジェンダーフェア言語を自然に使用するのに消極的であることが明らかとなった。

関連論文リスト

• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs [1.707677607445317]
  本稿では,Large Language Models (LLM) のレンズを用いた機械翻訳における性別バイアスについて検討する。 4つの広く使われているテストセットを使用して、様々なベースLLMをベンチマークし、それらの翻訳品質と性別バイアスを、カタルーニャ語(En $rightarrow$Ca)とスペイン語(En $rightarrow$Es)の英語(En $rightarrow$Es)の最先端のニューラルネットワーク翻訳(NMT)モデルと比較する。 以上の結果から,NMTモデルと比較すると,LLMは高い偏差を示し,全モデルにまたがる性的偏差が認められた。
  論文  参考訳（メタデータ） (2024-07-26T14:47:31Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
  本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。 様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。 単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
  論文  参考訳（メタデータ） (2024-07-12T22:10:16Z)
• From 'Showgirls' to 'Performers': Fine-tuning with Gender-inclusive Language for Bias Reduction in LLMs [1.1049608786515839]
  我々は、ジェンダー・インクリシティを促進するために、大規模言語モデル内の言語構造に適応する。 私たちの作品の焦点は英語の「In'show-Girl'」や「man-cave」のような男女排他的な接尾辞である。
  論文  参考訳（メタデータ） (2024-07-05T11:31:30Z)
• What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
  本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。 ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。 以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T21:12:08Z)
• Gender Bias in Large Language Models across Multiple Languages [10.068466432117113]
  異なる言語で生成される大言語モデル(LLM)の性別バイアスについて検討する。 1) 性別関連文脈から記述的単語を選択する際の性別バイアス。 2) 性別関連代名詞を選択する際の性別バイアスは, 記述語を付与する。
  論文  参考訳（メタデータ） (2024-03-01T04:47:16Z)
• Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
  大規模言語モデル(LLM)はバイアス応答を生成することができる。 条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-02-17T04:48:55Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。