論文の概要: Do LLMs have a Gender (Entropy) Bias?

• arxiv url: http://arxiv.org/abs/2505.20343v1
• Date: Sat, 24 May 2025 23:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.190418
• Title: Do LLMs have a Gender (Entropy) Bias?
• Title（参考訳）: LLMはジェンダー(エントロピー)バイアスを持つか?
• Authors: Sonal Prabhune, Balaji Padmanabhan, Kaushik Dutta,
• Abstract要約: 我々は,LLMが生み出す情報の量と,ユーザが質問した実際の質問に対する相違点として,エントロピーバイアスを定義し,研究する。 分析の結果,男女のLDM反応に有意な偏りは認められなかったことが示唆された。 2つの性別の反応を反復的にマージして最終的な結果を得る単純な偏りのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 3.2225437367979763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the existence and persistence of a specific type of gender bias in some of the popular LLMs and contribute a new benchmark dataset, RealWorldQuestioning (released on HuggingFace ), developed from real-world questions across four key domains in business and health contexts: education, jobs, personal financial management, and general health. We define and study entropy bias, which we define as a discrepancy in the amount of information generated by an LLM in response to real questions users have asked. We tested this using four different LLMs and evaluated the generated responses both qualitatively and quantitatively by using ChatGPT-4o (as "LLM-as-judge"). Our analyses (metric-based comparisons and "LLM-as-judge" evaluation) suggest that there is no significant bias in LLM responses for men and women at a category level. However, at a finer granularity (the individual question level), there are substantial differences in LLM responses for men and women in the majority of cases, which "cancel" each other out often due to some responses being better for males and vice versa. This is still a concern since typical users of these tools often ask a specific question (only) as opposed to several varied ones in each of these common yet important areas of life. We suggest a simple debiasing approach that iteratively merges the responses for the two genders to produce a final result. Our approach demonstrates that a simple, prompt-based debiasing strategy can effectively debias LLM outputs, thus producing responses with higher information content than both gendered variants in 78% of the cases, and consistently achieving a balanced integration in the remaining cases.
• Abstract（参考訳）: 一般的なLCMのいくつかにおいて、特定の性別バイアスの存在と持続性について検討し、教育、仕事、個人財務管理、一般健康の4つの主要な領域にまたがる現実的な質問から開発された、RealWorldQuestioning(HuggingFaceでリリース)というベンチマークデータセットを作成した。 我々は,LLMが生み出す情報の量と,ユーザが質問した実際の質問に対する相違点として,エントロピーバイアスを定義し,研究する。 4種類のLDMを用いてこれを検証し,ChatGPT-4o(LLM-as-judge)を用いて定性的かつ定量的に生成した応答を評価した。 分析の結果(尺度ベース比較と「LLM-as-judge」評価)は,男女のLSM反応に有意な偏りが認められなかったことを示唆している。 しかし、より細かい粒度(個別の質問レベル)では、ほとんどのケースでは男女のLSM反応にかなりの差があり、これは男性と女性には良い反応があるため、互いに「親しみ合う」ことがしばしばある。 これらのツールの典型的ユーザは、しばしば特定の質問(のみ)を尋ねるが、これら共通の、しかし重要なライフ領域のそれぞれにおいて、いくつかの異なる質問とは対照的である。 2つの性別の反応を反復的にマージして最終的な結果を得る単純な偏りのアプローチを提案する。 提案手法は, LLM出力を効果的にデバイアスし, 78%の症例において, 男女差よりも高い情報量で応答を生成でき, 残りの症例では一貫したバランスの取れた統合を達成できることを示す。

関連論文リスト

• Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
  本研究では,大言語モデル(LLM)における性別バイアスについて検討する。 我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
  論文  参考訳（メタデータ） (2024-11-20T22:43:18Z)
• Gender Bias in LLM-generated Interview Responses [1.6124402884077915]
  本研究は, モデル, 質問タイプ, 職種にまたがって, LLM生成面接応答の多面的監査を行うための3つのLCMを評価した。 その結果,男女の偏見は一貫しており,性別のステレオタイプや仕事の優位性と密接に一致していることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T05:08:08Z)
• How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making? [2.7476176772825904]
  本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。 本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。 このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-10-21T23:14:10Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
  大規模言語モデル(LLM)はバイアス応答を生成することができる。 条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-02-17T04:48:55Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Gender bias and stereotypes in Large Language Models [0.6882042556551611]
  本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。 我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
  論文  参考訳（メタデータ） (2023-08-28T22:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。