論文の概要: Evaluation of Large Language Models: STEM education and Gender Stereotypes
- arxiv url: http://arxiv.org/abs/2406.10133v1
- Date: Fri, 14 Jun 2024 15:42:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 12:56:41.114846
- Title: Evaluation of Large Language Models: STEM education and Gender Stereotypes
- Title（参考訳）: 大規模言語モデルの評価:STEM教育とジェンダーステレオタイプ
- Authors: Smilla Due, Sneha Das, Marianne Andersen, Berta Plandolit López, Sniff Andersen Nexø, Line Clemmensen,
- Abstract要約: 本稿では,大規模言語モデル(LLM)におけるジェンダーバイアスについて,オープンエンドな実験設計と定量的分析により検討する。
その結果,STEM と非STEM の比率は,チャットGPT が提供した教育パスに大きく差があることがわかった。
- 参考スコア（独自算出の注目度）: 2.1600200859609178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have an increasing impact on our lives with use cases such as chatbots, study support, coding support, ideation, writing assistance, and more. Previous studies have revealed linguistic biases in pronouns used to describe professions or adjectives used to describe men vs women. These issues have to some degree been addressed in updated LLM versions, at least to pass existing tests. However, biases may still be present in the models, and repeated use of gender stereotypical language may reinforce the underlying assumptions and are therefore important to examine further. This paper investigates gender biases in LLMs in relation to educational choices through an open-ended, true to user-case experimental design and a quantitative analysis. We investigate the biases in the context of four different cultures, languages, and educational systems (English/US/UK, Danish/DK, Catalan/ES, and Hindi/IN) for ages ranging from 10 to 16 years, corresponding to important educational transition points in the different countries. We find that there are significant and large differences in the ratio of STEM to non-STEM suggested education paths provided by chatGPT when using typical girl vs boy names to prompt lists of suggested things to become. There are generally fewer STEM suggestions in the Danish, Spanish, and Indian context compared to the English. We also find subtle differences in the suggested professions, which we categorise and report.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボット、研究サポート、コーディングサポート、アイデア、執筆支援など、私たちの生活に影響を与えています。
これまでの研究では、男性と女性を表現するための職業または形容詞を記述するために使われる代名詞の言語バイアスが明らかになった。
これらの問題は、少なくとも既存のテストに合格するために、更新されたLLMバージョンである程度対処されなければならない。
しかし、まだモデルに偏見が残っており、ジェンダーのステレオタイプ言語の使用が根底にある仮定を補強する可能性があるため、さらなる検討が重要である。
本稿では, LLM における男女差を, オープンエンド, ユーザケース実験設計, 定量的分析により検討する。
本研究は,4つの異なる文化・言語・教育システム(英語/US/UK,デンマーク/DK,カタルーニャ/ES,ヒンディー語/IN)の10～16年間における文脈におけるバイアスを,各国の教育上の重要な転換点に対応して検討する。
その結果,STEM と非STEM の比率には,通常の少女と少年の名前を用いて提案事項のリストを作成する際に,チャットGPT が提案する教育パスに有意かつ大きな差があることが判明した。
一般的に、英語に比べて、デンマーク語、スペイン語、インドの文脈でのSTEM提案は少ない。
また、提案された職業の微妙な違いも見つかり、それを分類し報告します。
関連論文リスト
- Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。
様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。
単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
論文 参考訳（メタデータ） (2024-07-12T22:10:16Z) - Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
テキストコーパスにおけるジェンダーバイアスは、社会的不平等の永続性と増幅につながる可能性がある。
テキストコーパスにおけるジェンダー表現バイアスを計測する既存の手法は、主に英語で提案されている。
本稿では,スペインのコーパスにおけるジェンダー表現バイアスを定量的に測定する手法を提案する。
論文 参考訳（メタデータ） (2024-06-19T16:30:58Z) - What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。
ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。
以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-04-09T21:12:08Z) - Gender Bias in Large Language Models across Multiple Languages [10.068466432117113]
異なる言語で生成される大言語モデル(LLM)の性別バイアスについて検討する。
1) 性別関連文脈から記述的単語を選択する際の性別バイアス。
2) 性別関連代名詞を選択する際の性別バイアスは, 記述語を付与する。
論文 参考訳（メタデータ） (2024-03-01T04:47:16Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。
本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。
以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
論文 参考訳（メタデータ） (2022-09-08T09:15:58Z) - Quantifying Gender Bias Towards Politicians in Cross-Lingual Language
Models [104.41668491794974]
代名詞として政治家の名前を取り巻く言語モデルによって生成される形容詞と動詞の用法を定量化する。
死者や指定された言葉が男女の政治家と関連しているのに対し、美人や離婚といった特定の言葉が主に女性政治家に関係していることが判明した。
論文 参考訳（メタデータ） (2021-04-15T15:03:26Z) - They, Them, Theirs: Rewriting with Gender-Neutral English [56.14842450974887]
私たちは、英語でジェンダーインクルージョンを促進する一般的な方法である特異点についてケーススタディを行います。
本研究では, 人為的データを持たない1%の単語誤り率で, ジェンダーニュートラルな英語を学習できるモデルについて述べる。
論文 参考訳（メタデータ） (2021-02-12T21:47:48Z) - Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender
Bias [12.4543414590979]
文脈化された単語の埋め込みは、NLPシステムにおける標準的な埋め込みを置き換えている。
英語とドイツ語の専門職名と性別記述対象語との関係を調べた結果,性別バイアスを測定した。
偏見を測定する手法はドイツ語のような豊かでジェンダーの指標を持つ言語に適していることを示す。
論文 参考訳（メタデータ） (2020-10-27T18:06:09Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。