Fugu-MT 論文翻訳(概要): Gender bias and stereotypes in Large Language Models

論文の概要: Gender bias and stereotypes in Large Language Models

arxiv url: http://arxiv.org/abs/2308.14921v1
Date: Mon, 28 Aug 2023 22:32:05 GMT
ステータス: 処理完了
システム内更新日: 2023-08-30 16:28:56.962171
Title: Gender bias and stereotypes in Large Language Models
Title（参考訳）: 大規模言語モデルにおけるジェンダーバイアスとステレオタイプ
Authors: Hadas Kotek, Rikker Dockum, and David Q. Sun
Abstract要約: 本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
参考スコア（独自算出の注目度）: 0.6882042556551611
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have made substantial progress in the past several months, shattering state-of-the-art benchmarks in many domains. This paper investigates LLMs' behavior with respect to gender stereotypes, a known issue for prior models. We use a simple paradigm to test the presence of gender bias, building on but differing from WinoBias, a commonly used gender bias dataset, which is likely to be included in the training data of current LLMs. We test four recently published LLMs and demonstrate that they express biased assumptions about men and women's occupations. Our contributions in this paper are as follows: (a) LLMs are 3-6 times more likely to choose an occupation that stereotypically aligns with a person's gender; (b) these choices align with people's perceptions better than with the ground truth as reflected in official job statistics; (c) LLMs in fact amplify the bias beyond what is reflected in perceptions or the ground truth; (d) LLMs ignore crucial ambiguities in sentence structure 95% of the time in our study items, but when explicitly prompted, they recognize the ambiguity; (e) LLMs provide explanations for their choices that are factually inaccurate and likely obscure the true reason behind their predictions. That is, they provide rationalizations of their biased behavior. This highlights a key property of these models: LLMs are trained on imbalanced datasets; as such, even with the recent successes of reinforcement learning with human feedback, they tend to reflect those imbalances back at us. As with other types of societal biases, we suggest that LLMs must be carefully tested to ensure that they treat minoritized individuals and communities equitably.
Abstract（参考訳）: 大規模言語モデル(llm)は、過去数ヶ月で大幅に進歩し、多くのドメインで最先端のベンチマークが崩壊した。本稿では,先行モデルにおける既知問題であるジェンダーステレオタイプに対するLCMの挙動について検討する。私たちは単純なパラダイムを使って、現在のllmのトレーニングデータに含まれる可能性が高い一般的なジェンダーバイアスデータセットであるwinobiasとの違いに基づいて、ジェンダーバイアスの存在をテストしています。我々は最近公開された4つのLSMを検証し、男女の職業に関するバイアスのある仮定を示すことを示した。本論文における我々の貢献は以下の通りである。 a) LLMは、その人の性別とステレオタイプに一致した職業を選択する確率が3-6倍である。 (b)これらの選択は、官職統計に反映される根拠的真理よりも人々の認識に合致する。 (c) LLMは、実際には、知覚または基礎的真実に反映されるもの以上のバイアスを増幅する。 d) LLMは,本研究項目の95%の時間における文構造における重要な曖昧さを無視するが,明示的に指示された場合には,その曖昧さを認識する。 (e)llmは、実際には不正確であり、予測の背後にある本当の理由を曖昧にするような選択の説明を提供する。つまり、バイアスのある行動の合理化を提供する。 LLMは不均衡なデータセットに基づいてトレーニングされており、人間からのフィードバックによる強化学習の成功にもかかわらず、これらの不均衡を反映する傾向があります。他のタイプの社会的偏見と同様に、軽微化された個人やコミュニティを公平に扱うためには、LSMを慎重に検査する必要があることを示唆する。

関連論文リスト

Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
本研究では,大言語モデル(LLM)における性別バイアスについて検討する。我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
論文参考訳（メタデータ） (2024-11-20T22:43:18Z)
Popular LLMs Amplify Race and Gender Disparities in Human Mobility [2.601262068492271]
本研究では,大規模言語モデル (LLM) が人種や性別に基づく人体移動の予測に偏りを示すかどうかを検討する。 LLMは、既存の社会的バイアスをよく反映し、増幅する。
論文参考訳（メタデータ） (2024-11-18T19:41:20Z)
Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
論文参考訳（メタデータ） (2024-10-03T15:28:05Z)
GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文参考訳（メタデータ） (2024-08-22T15:35:46Z)
Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文参考訳（メタデータ） (2024-08-20T23:54:26Z)
Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文参考訳（メタデータ） (2024-02-17T04:48:55Z)
Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文参考訳（メタデータ） (2024-02-16T18:28:43Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文参考訳（メタデータ） (2023-11-01T05:31:46Z)
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文参考訳（メタデータ） (2023-10-13T16:12:57Z)
Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
論文参考訳（メタデータ） (2023-09-16T07:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。