論文の概要: JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15484v2
• Date: Mon, 30 Sep 2024 11:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:02:04.271810
• Title: JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models
• Title（参考訳）: JobFair: 大規模言語モデルにおけるジェンダー採用バイアスのベンチマークフレームワーク
• Authors: Ze Wang, Zekun Wu, Xin Guan, Michael Thaler, Adriano Koshiyama, Skylar Lu, Sachin Beepath, Ediz Ertekin Jr., Maria Perez-Ortiz,
• Abstract要約: 本稿では,Large Language Models (LLMs) における階層的ジェンダー採用バイアスのベンチマークを行うための新しいフレームワークを提案する。 我々は、労働経済学、法原則、現在のバイアスベンチマークの批判に根ざした新しい構成を導入する。 我々は、現在最先端の10のLCMにおける性別採用バイアスを分析する。
• 参考スコア（独自算出の注目度）: 12.12628747941818
• License:
• Abstract: The use of Large Language Models (LLMs) in hiring has led to legislative actions to protect vulnerable demographic groups. This paper presents a novel framework for benchmarking hierarchical gender hiring bias in Large Language Models (LLMs) for resume scoring, revealing significant issues of reverse gender hiring bias and overdebiasing. Our contributions are fourfold: Firstly, we introduce a new construct grounded in labour economics, legal principles, and critiques of current bias benchmarks: hiring bias can be categorized into two types: Level bias (difference in the average outcomes between demographic counterfactual groups) and Spread bias (difference in the variance of outcomes between demographic counterfactual groups); Level bias can be further subdivided into statistical bias (i.e. changing with non-demographic content) and taste-based bias (i.e. consistent regardless of non-demographic content). Secondly, the framework includes rigorous statistical and computational hiring bias metrics, such as Rank After Scoring (RAS), Rank-based Impact Ratio, Permutation Test, and Fixed Effects Model. Thirdly, we analyze gender hiring biases in ten state-of-the-art LLMs. Seven out of ten LLMs show significant biases against males in at least one industry. An industry-effect regression reveals that the healthcare industry is the most biased against males. Moreover, we found that the bias performance remains invariant with resume content for eight out of ten LLMs. This indicates that the bias performance measured in this paper might apply to other resume datasets with different resume qualities. Fourthly, we provide a user-friendly demo and resume dataset to support the adoption and practical use of the framework, which can be generalized to other social traits and tasks.
• Abstract（参考訳）: 雇用におけるLarge Language Models(LLM)の使用は、脆弱な人口集団を保護するための立法活動につながっている。 本稿では,大規模言語モデル(LLM)における階層的ジェンダー採用バイアスのベンチマーク手法を提案する。 まず、労働経済学、法原則、現在のバイアスベンチマークの批判に基づく新しい構成を導入する: 採用バイアスは、レベルバイアス(人口統計学的反事実グループ間の平均結果の差)とスプレッドバイアス(人口統計学的反事実グループ間の結果の分散の差)、レベルバイアスは、統計バイアス(非デデデログラフコンテンツの変更)と味覚ベースのバイアス(非デデデログラフコンテンツによらず)の2種類に分類される。 第2に、このフレームワークには、ランクアフタースコア(RAS)、ランクベースのインパクト比、置換テスト、固定効果モデルなどの厳密な統計的および計算的採用バイアスメトリクスが含まれている。 第3に、現在最先端の10のLCMにおける性別採用バイアスを分析する。 10のLSMのうち7つは、少なくとも1つの産業において男性に対して有意な偏見を示す。 産業効果のレグレッションは、医療産業が男性に最も偏っていることを示している。 さらに,10 LLMのうち8 LLM の再生コンテンツに対して,バイアス性能は不変であることが判明した。 このことから,本論文で測定したバイアス性能は,異なる履歴特性を持つ他の履歴データセットに適用できる可能性が示唆された。 第4に、ユーザフレンドリなデモと履歴データセットを提供し、他の社会的特性やタスクに一般化可能なフレームワークの採用と実用化を支援する。

関連論文リスト

• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
  大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。 このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。 本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:57:43Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Fairness in AI Systems: Mitigating gender bias from language-vision models [0.913755431537592]
  既存のデータセットにおける性別バイアスの影響について検討する。 本稿では,キャプションに基づく言語視覚モデルにおけるその影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T04:33:44Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。