論文の概要: Gender bias and stereotypes in Large Language Models
- arxiv url: http://arxiv.org/abs/2308.14921v1
- Date: Mon, 28 Aug 2023 22:32:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:28:56.962171
- Title: Gender bias and stereotypes in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるジェンダーバイアスとステレオタイプ
- Authors: Hadas Kotek, Rikker Dockum, and David Q. Sun
- Abstract要約: 本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。
我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。
a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3~6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
- 参考スコア(独自算出の注目度): 0.6882042556551611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have made substantial progress in the past
several months, shattering state-of-the-art benchmarks in many domains. This
paper investigates LLMs' behavior with respect to gender stereotypes, a known
issue for prior models. We use a simple paradigm to test the presence of gender
bias, building on but differing from WinoBias, a commonly used gender bias
dataset, which is likely to be included in the training data of current LLMs.
We test four recently published LLMs and demonstrate that they express biased
assumptions about men and women's occupations. Our contributions in this paper
are as follows: (a) LLMs are 3-6 times more likely to choose an occupation that
stereotypically aligns with a person's gender; (b) these choices align with
people's perceptions better than with the ground truth as reflected in official
job statistics; (c) LLMs in fact amplify the bias beyond what is reflected in
perceptions or the ground truth; (d) LLMs ignore crucial ambiguities in
sentence structure 95% of the time in our study items, but when explicitly
prompted, they recognize the ambiguity; (e) LLMs provide explanations for their
choices that are factually inaccurate and likely obscure the true reason behind
their predictions. That is, they provide rationalizations of their biased
behavior. This highlights a key property of these models: LLMs are trained on
imbalanced datasets; as such, even with the recent successes of reinforcement
learning with human feedback, they tend to reflect those imbalances back at us.
As with other types of societal biases, we suggest that LLMs must be carefully
tested to ensure that they treat minoritized individuals and communities
equitably.
- Abstract(参考訳): 大規模言語モデル(llm)は、過去数ヶ月で大幅に進歩し、多くのドメインで最先端のベンチマークが崩壊した。
本稿では,先行モデルにおける既知問題であるジェンダーステレオタイプに対するLCMの挙動について検討する。
私たちは単純なパラダイムを使って、現在のllmのトレーニングデータに含まれる可能性が高い一般的なジェンダーバイアスデータセットであるwinobiasとの違いに基づいて、ジェンダーバイアスの存在をテストしています。
我々は最近公開された4つのLSMを検証し、男女の職業に関するバイアスのある仮定を示すことを示した。
本論文における我々の貢献は以下の通りである。
a) LLMは、その人の性別とステレオタイプに一致した職業を選択する確率が3-6倍である。
(b)これらの選択は、官職統計に反映される根拠的真理よりも人々の認識に合致する。
(c) LLMは、実際には、知覚または基礎的真実に反映されるもの以上のバイアスを増幅する。
d) LLMは,本研究項目の95%の時間における文構造における重要な曖昧さを無視するが,明示的に指示された場合には,その曖昧さを認識する。
(e)llmは、実際には不正確であり、予測の背後にある本当の理由を曖昧にするような選択の説明を提供する。
つまり、バイアスのある行動の合理化を提供する。
LLMは不均衡なデータセットに基づいてトレーニングされており、人間からのフィードバックによる強化学習の成功にもかかわらず、これらの不均衡を反映する傾向があります。
他のタイプの社会的偏見と同様に、軽微化された個人やコミュニティを公平に扱うためには、LSMを慎重に検査する必要があることを示唆する。
関連論文リスト
- Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。
条件生成に基づく間接探索フレームワークを提案する。
LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文 参考訳(メタデータ) (2024-02-17T04:48:55Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z) - Investigating the Fairness of Large Language Models for Predictions on
Tabular Data [26.178497037060097]
大規模言語モデル(LLM)は有害な社会的バイアスを示すことが示されている。
LLMはトレーニングデータから社会的偏見を継承する傾向がある。
コンテキスト内の例のラベルフリップは、バイアスを大幅に減少させる。
論文 参考訳(メタデータ) (2023-10-23T06:31:28Z) - "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in
LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。
本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文 参考訳(メタデータ) (2023-10-13T16:12:57Z) - Public Perceptions of Gender Bias in Large Language Models: Cases of
ChatGPT and Ernie [2.1756081703276]
本研究では,大規模言語モデルにおけるジェンダーバイアスの認知度を評価するために,ソーシャルメディア上での議論の内容分析を行った。
人々は、個人使用における性別バイアスの観察と、LSMにおける性別バイアスに関する科学的知見の両方を共有した。
LLMにおけるジェンダーバイアスを規制するためのガバナンスレコメンデーションを提案する。
論文 参考訳(メタデータ) (2023-09-17T00:53:34Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - The Unequal Opportunities of Large Language Models: Revealing
Demographic Bias through Job Recommendations [5.898806397015801]
大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。
本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。
両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
論文 参考訳(メタデータ) (2023-08-03T21:12:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。