論文の概要: Unveiling Gender Bias in Large Language Models: Using Teacher's Evaluation in Higher Education As an Example
- arxiv url: http://arxiv.org/abs/2409.09652v1
- Date: Sun, 15 Sep 2024 07:50:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 19:48:24.068630
- Title: Unveiling Gender Bias in Large Language Models: Using Teacher's Evaluation in Higher Education As an Example
- Title（参考訳）: 大規模言語モデルにおけるジェンダーバイアスの解消--高等教育における教師の評価を例として
- Authors: Yuanning Huang,
- Abstract要約: 本稿では,Large Language Model (LLM) による高等教育環境におけるジェンダーバイアスについて検討する。
Odds Ratio (OR)分析、Word Embedding Association Test (WEAT)、感情分析、文脈分析を含む包括的な分析フレームワークを適用している。
具体的には、女性インストラクターには親しみやすさや支援に関する言葉が頻繁に用いられ、男性インストラクターにはエンターテイメントに関する言葉が主流であった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates gender bias in Large Language Model (LLM)-generated teacher evaluations in higher education setting, focusing on evaluations produced by GPT-4 across six academic subjects. By applying a comprehensive analytical framework that includes Odds Ratio (OR) analysis, Word Embedding Association Test (WEAT), sentiment analysis, and contextual analysis, this paper identified patterns of gender-associated language reflecting societal stereotypes. Specifically, words related to approachability and support were used more frequently for female instructors, while words related to entertainment were predominantly used for male instructors, aligning with the concepts of communal and agentic behaviors. The study also found moderate to strong associations between male salient adjectives and male names, though career and family words did not distinctly capture gender biases. These findings align with prior research on societal norms and stereotypes, reinforcing the notion that LLM-generated text reflects existing biases.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)による高等教育環境における教師評価におけるジェンダーバイアスについて検討し,GPT-4による6学年における評価に着目した。
Odds Ratio (OR) 分析, Word Embedding Association Test (WEAT) , 感情分析, 文脈分析を含む包括的分析フレームワークを適用することにより, 社会的ステレオタイプを反映するジェンダー関連言語のパターンを明らかにした。
特に、女性インストラクターには親しみやすさや支援に関する言葉が頻繁に用いられ、男性インストラクターにはエンターテイメントに関する言葉が主に用いられ、共同行動やエージェント行動の概念と一致していた。
また、この研究は男性の有能な形容詞と男性の名前の間に中程度から強い関連性があることも見出したが、キャリアと家族の言葉は明らかに性別の偏見を捉えていない。
これらの知見は、社会規範やステレオタイプに関する先行研究と一致し、LLM生成したテキストが既存のバイアスを反映するという考えを強めた。
関連論文リスト
- Evaluating Gender Bias in Large Language Models [0.8636148452563583]
本研究では,大規模言語モデル (LLMs) が職業文脈における代名詞選択における性別バイアスの程度について検討した。
対象とする職業は、男性に有意な存在感を持つものから女性に有意な集中力を持つものまで幅広い。
その結果, モデルの代名詞選択と, 労働力データに存在する性別分布との間には, 正の相関関係が認められた。
論文 参考訳（メタデータ） (2024-11-14T22:23:13Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。
以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
論文 参考訳（メタデータ） (2024-06-27T19:26:11Z) - Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
テキストコーパスにおけるジェンダーバイアスは、社会的不平等の永続性と増幅につながる可能性がある。
テキストコーパスにおけるジェンダー表現バイアスを計測する既存の手法は、主に英語で提案されている。
本稿では,スペインのコーパスにおけるジェンダー表現バイアスを定量的に測定する手法を提案する。
論文 参考訳（メタデータ） (2024-06-19T16:30:58Z) - ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT
Generated English Text [11.085070600065801]
言語は、社会的信念システムの顕在化のための強力なツールとして機能する。
ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。
我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
論文 参考訳（メタデータ） (2023-10-26T14:34:06Z) - "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in
LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。
本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文 参考訳（メタデータ） (2023-10-13T16:12:57Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳（メタデータ） (2022-10-17T08:55:26Z) - Assessing Group-level Gender Bias in Professional Evaluations: The Case
of Medical Student End-of-Shift Feedback [14.065979111248497]
女性医師は、上級職に不足しており、男性医師よりも収入が少なく、昇進も少ない傾向にある。
この研究は主に、LIWCのような固定辞書を用いて特定の単語を探し、レコメンデーションレターに焦点をあてることによって行われた。
複数の機関にまたがって収集された個別の勤務シフトにおける医学生の成績の書面的・定量的な評価データセットを用いて、医学生の日々の状況における男女差の程度を調査する。
論文 参考訳（メタデータ） (2022-06-01T05:01:36Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-19T20:05:02Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。