Fugu-MT 論文翻訳(概要): Do LLMs have a Gender (Entropy) Bias?

論文の概要: Do LLMs have a Gender (Entropy) Bias?

arxiv url: http://arxiv.org/abs/2505.20343v1
Date: Sat, 24 May 2025 23:06:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-28 17:05:58.190418
Title: Do LLMs have a Gender (Entropy) Bias?
Title（参考訳）: LLMはジェンダー(エントロピー)バイアスを持つか?
Authors: Sonal Prabhune, Balaji Padmanabhan, Kaushik Dutta,
Abstract要約: 我々は,LLMが生み出す情報の量と,ユーザが質問した実際の質問に対する相違点として,エントロピーバイアスを定義し,研究する。分析の結果,男女のLDM反応に有意な偏りは認められなかったことが示唆された。 2つの性別の反応を反復的にマージして最終的な結果を得る単純な偏りのアプローチを提案する。
参考スコア（独自算出の注目度）: 3.2225437367979763
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the existence and persistence of a specific type of gender bias in some of the popular LLMs and contribute a new benchmark dataset, RealWorldQuestioning (released on HuggingFace ), developed from real-world questions across four key domains in business and health contexts: education, jobs, personal financial management, and general health. We define and study entropy bias, which we define as a discrepancy in the amount of information generated by an LLM in response to real questions users have asked. We tested this using four different LLMs and evaluated the generated responses both qualitatively and quantitatively by using ChatGPT-4o (as "LLM-as-judge"). Our analyses (metric-based comparisons and "LLM-as-judge" evaluation) suggest that there is no significant bias in LLM responses for men and women at a category level. However, at a finer granularity (the individual question level), there are substantial differences in LLM responses for men and women in the majority of cases, which "cancel" each other out often due to some responses being better for males and vice versa. This is still a concern since typical users of these tools often ask a specific question (only) as opposed to several varied ones in each of these common yet important areas of life. We suggest a simple debiasing approach that iteratively merges the responses for the two genders to produce a final result. Our approach demonstrates that a simple, prompt-based debiasing strategy can effectively debias LLM outputs, thus producing responses with higher information content than both gendered variants in 78% of the cases, and consistently achieving a balanced integration in the remaining cases.
Abstract（参考訳）: 一般的なLCMのいくつかにおいて、特定の性別バイアスの存在と持続性について検討し、教育、仕事、個人財務管理、一般健康の4つの主要な領域にまたがる現実的な質問から開発された、RealWorldQuestioning(HuggingFaceでリリース)というベンチマークデータセットを作成した。我々は,LLMが生み出す情報の量と,ユーザが質問した実際の質問に対する相違点として,エントロピーバイアスを定義し,研究する。 4種類のLDMを用いてこれを検証し,ChatGPT-4o(LLM-as-judge)を用いて定性的かつ定量的に生成した応答を評価した。分析の結果(尺度ベース比較と「LLM-as-judge」評価)は,男女のLSM反応に有意な偏りが認められなかったことを示唆している。しかし、より細かい粒度(個別の質問レベル)では、ほとんどのケースでは男女のLSM反応にかなりの差があり、これは男性と女性には良い反応があるため、互いに「親しみ合う」ことがしばしばある。これらのツールの典型的ユーザは、しばしば特定の質問(のみ)を尋ねるが、これら共通の、しかし重要なライフ領域のそれぞれにおいて、いくつかの異なる質問とは対照的である。 2つの性別の反応を反復的にマージして最終的な結果を得る単純な偏りのアプローチを提案する。提案手法は, LLM出力を効果的にデバイアスし, 78%の症例において, 男女差よりも高い情報量で応答を生成でき, 残りの症例では一貫したバランスの取れた統合を達成できることを示す。

関連論文リスト

Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
本研究では,大言語モデル(LLM)における性別バイアスについて検討する。我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
論文参考訳（メタデータ） (2024-11-20T22:43:18Z)
Gender Bias in LLM-generated Interview Responses [1.6124402884077915]
本研究は, モデル, 質問タイプ, 職種にまたがって, LLM生成面接応答の多面的監査を行うための3つのLCMを評価した。その結果,男女の偏見は一貫しており,性別のステレオタイプや仕事の優位性と密接に一致していることが判明した。
論文参考訳（メタデータ） (2024-10-28T05:08:08Z)
How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making? [2.7476176772825904]
本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
論文参考訳（メタデータ） (2024-10-21T23:14:10Z)
Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
論文参考訳（メタデータ） (2024-10-03T15:28:05Z)
GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文参考訳（メタデータ） (2024-08-22T15:35:46Z)
GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。既存のLVLMでは男女差が広くみられた。
論文参考訳（メタデータ） (2024-06-30T05:55:15Z)
Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。強制されない場合、モデルが実質的に異なる答えを与えることを示す。我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文参考訳（メタデータ） (2024-02-26T18:00:49Z)
Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文参考訳（メタデータ） (2024-02-17T04:48:55Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文参考訳（メタデータ） (2023-11-01T05:31:46Z)
Gender bias and stereotypes in Large Language Models [0.6882042556551611]
本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
論文参考訳（メタデータ） (2023-08-28T22:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。