論文の概要: AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?
- arxiv url: http://arxiv.org/abs/2312.10833v1
- Date: Sun, 17 Dec 2023 22:37:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:22:55.084290
- Title: AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?
- Title（参考訳）: aiの性別バイアス、格差、公平性: トレーニングデータは重要か?
- Authors: Ehsan Latif, Xiaoming Zhai, and Lei Liu
- Abstract要約: この研究は、人工知能(AI)におけるジェンダー問題に関する広範囲にわたる課題について考察する。
それは、6つの評価項目で男女1000人以上の学生の反応を分析する。
その結果,混合学習モデルのスコアリング精度は,男性モデルと女性モデルとでは有意な差があることが示唆された。
- 参考スコア（独自算出の注目度）: 3.509963616428399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study delves into the pervasive issue of gender issues in artificial
intelligence (AI), specifically within automatic scoring systems for
student-written responses. The primary objective is to investigate the presence
of gender biases, disparities, and fairness in generally targeted training
samples with mixed-gender datasets in AI scoring outcomes. Utilizing a
fine-tuned version of BERT and GPT-3.5, this research analyzes more than 1000
human-graded student responses from male and female participants across six
assessment items. The study employs three distinct techniques for bias
analysis: Scoring accuracy difference to evaluate bias, mean score gaps by
gender (MSG) to evaluate disparity, and Equalized Odds (EO) to evaluate
fairness. The results indicate that scoring accuracy for mixed-trained models
shows an insignificant difference from either male- or female-trained models,
suggesting no significant scoring bias. Consistently with both BERT and
GPT-3.5, we found that mixed-trained models generated fewer MSG and
non-disparate predictions compared to humans. In contrast, compared to humans,
gender-specifically trained models yielded larger MSG, indicating that
unbalanced training data may create algorithmic models to enlarge gender
disparities. The EO analysis suggests that mixed-trained models generated more
fairness outcomes compared with gender-specifically trained models.
Collectively, the findings suggest that gender-unbalanced data do not
necessarily generate scoring bias but can enlarge gender disparities and reduce
scoring fairness.
- Abstract（参考訳）: 本研究は,人工知能(AI)におけるジェンダー問題,特に学生書記応答の自動スコアリングシステムにおける多岐にわたる問題について考察する。
主な目的は、aiスコア結果における混合生成データセットを用いた一般的なトレーニングサンプルにおいて、性別バイアス、格差、公平性の有無を調べることである。
本研究は、BERTとGPT-3.5の微調整版を用いて、6つの評価項目で男女1000人以上の学生の反応を分析した。
この研究はバイアス分析に3つの異なる手法を用いており、バイアスを評価するための精度差の補正、男女差を評価するための平均スコアギャップ(MSG)、公平さを評価するための平等オッド(EO)である。
その結果,混合学習モデルにおけるスコアリング精度は,男女ともに有意差を示し,有意なスコアバイアスは認められなかった。
BERT と GPT-3.5 のどちらとも一致し,混合学習モデルでは,ヒトと比較してMSG と非異種予測が少なかった。
対照的に、性別に特化して訓練されたモデルでは、より大きなMSGが得られ、不均衡なトレーニングデータが男女格差を拡大するアルゴリズムモデルを作成する可能性があることを示している。
EO分析は、混合訓練されたモデルは、性特化訓練されたモデルと比較して、より公平な結果をもたらすことを示唆している。
総じて,性別不均衡データは必ずしもスコアのバイアスを生じさせるのではなく,性別格差を増大させ,スコアの公平さを低下させることが示唆された。
関連論文リスト
- GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T15:35:46Z) - Identifying and examining machine learning biases on Adult dataset [0.7856362837294112]
この研究は、エンサンブルラーニングによる機械学習モデルバイアスの低減を念頭に置いている。
我々の厳密な方法論は、様々なカテゴリー変数にまたがる偏見を包括的に評価し、最終的に顕著な男女属性偏見を明らかにします。
本研究は,データ駆動型社会における倫理的考察とハイブリッドモデルの実現を提唱する。
論文 参考訳（メタデータ） (2023-10-13T19:41:47Z) - The Impact of Debiasing on the Performance of Language Models in
Downstream Tasks is Underestimated [70.23064111640132]
我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。
実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
論文 参考訳（メタデータ） (2023-09-16T20:25:34Z) - Language Models Get a Gender Makeover: Mitigating Gender Bias with
Few-Shot Data Interventions [50.67412723291881]
事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。
我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
論文 参考訳（メタデータ） (2023-06-07T16:50:03Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T04:27:40Z) - Exploring Gender Bias in Retrieval Models [2.594412743115663]
情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。
本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。
我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。
また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
論文 参考訳（メタデータ） (2022-08-02T21:12:05Z) - Improving Gender Fairness of Pre-Trained Language Models without
Catastrophic Forgetting [88.83117372793737]
元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。
本稿では,GEnder Equality Prompt(GEEP)を提案する。
論文 参考訳（メタデータ） (2021-10-11T15:52:16Z) - Fairness in Cardiac MR Image Analysis: An Investigation of Bias Due to
Data Imbalance in Deep Learning Based Segmentation [1.6386696247541932]
AIにおける「フェアネス」とは、人種や性別などの人口統計特性に基づいて、潜在的なバイアスのアルゴリズムを評価することを指す。
近年, 心MR領域の深層学習(DL)が注目されているが, それらの妥当性についてはまだ研究されていない。
異なる人種集団間でDiceのパフォーマンスに統計的に有意な差が認められた。
論文 参考訳（メタデータ） (2021-06-23T13:27:35Z) - Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
推論による自然言語理解における性別バイアスの評価手法を提案する。
チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。
その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
論文 参考訳（メタデータ） (2021-05-12T09:41:51Z) - Mitigating Gender Bias in Captioning Systems [56.25457065032423]
ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。
本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
論文 参考訳（メタデータ） (2020-06-15T12:16:19Z) - Do Neural Ranking Models Intensify Gender Bias? [13.37092521347171]
まず、IRモデルのランキングリストにおいて、性別関連概念の非バランスの存在度を定量化するための2つの指標を含むバイアス測定フレームワークを提供する。
これらのクエリをMS MARCOパッセージ検索コレクションに適用し、BM25モデルと最近のニューラルランキングモデルの性別バイアスを測定する。
結果は、すべてのモデルが男性に対して強く偏りを呈する一方で、神経モデル、特に文脈化された埋め込みモデルに基づくモデルは、性バイアスを著しく強めていることを示している。
論文 参考訳（メタデータ） (2020-05-01T13:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。