Fugu-MT 論文翻訳(概要): Evaluating Gender, Racial, and Age Biases in Large Language Models: A Comparative Analysis of Occupational and Crime Scenarios

論文の概要: Evaluating Gender, Racial, and Age Biases in Large Language Models: A Comparative Analysis of Occupational and Crime Scenarios

arxiv url: http://arxiv.org/abs/2409.14583v2
Date: Fri, 18 Oct 2024 05:41:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 22:08:18.060086
Title: Evaluating Gender, Racial, and Age Biases in Large Language Models: A Comparative Analysis of Occupational and Crime Scenarios
Title（参考訳）: 大規模言語モデルにおける性・人種・年齢バイアスの評価:職業・犯罪シナリオの比較分析
Authors: Vishal Mirza, Rahul Kulkarni, Aakanksha Jadhav,
Abstract要約: 本稿では,Large Language Models(LLMs)におけるバイアスについて検討する。 LLMは、様々な職業において、男性よりも頻繁に女性キャラクターを描いていることが判明した。性別と人種の偏見を減らそうとする努力は、しばしば1つのサブクラスを超越する結果をもたらす。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Recent advancements in Large Language Models(LLMs) have been notable, yet widespread enterprise adoption remains limited due to various constraints. This paper examines bias in LLMs-a crucial issue affecting their usability, reliability, and fairness. Researchers are developing strategies to mitigate bias, including debiasing layers, specialized reference datasets like Winogender and Winobias, and reinforcement learning with human feedback (RLHF). These techniques have been integrated into the latest LLMs. Our study evaluates gender bias in occupational scenarios and gender, age, and racial bias in crime scenarios across four leading LLMs released in 2024: Gemini 1.5 Pro, Llama 3 70B, Claude 3 Opus, and GPT-4o. Findings reveal that LLMs often depict female characters more frequently than male ones in various occupations, showing a 37% deviation from US BLS data. In crime scenarios, deviations from US FBI data are 54% for gender, 28% for race, and 17% for age. We observe that efforts to reduce gender and racial bias often lead to outcomes that may over-index one sub-class, potentially exacerbating the issue. These results highlight the limitations of current bias mitigation techniques and underscore the need for more effective approaches.
Abstract（参考訳）: LLM(Large Language Models)の最近の進歩は注目されているが、様々な制約のため、広く採用されている企業はまだ限られている。本稿では, LLM におけるバイアスがユーザビリティ, 信頼性, 公平性に与える影響について検討する。研究者はバイアスを軽減するための戦略を開発しており、例えば、デバイアス層、WinogenderやWinobiasのような特別な参照データセット、人間からのフィードバックによる強化学習(RLHF)などがある。これらの技術は最新のLSMに統合されている。本研究は,2024年に公開された4つのLLM(Gemini 1.5 Pro, Llama 3 70B, Claude 3 Opus, GPT-4o)における,職業シナリオ,性別,年齢,人種バイアスの性別バイアスを評価する。 LLMは、様々な職業において、男性よりも女性キャラクターが頻繁に描かれており、米国のBLSデータから37%の偏差が示されている。犯罪シナリオでは、FBIのデータからの偏差は性別が54%、人種が28%、年齢が17%である。我々は、性別と人種的偏見を減らす努力が、しばしば1つのサブクラスを過大評価し、問題を悪化させる可能性がある結果をもたらすことを観察する。これらの結果は、現在のバイアス緩和技術の限界を強調し、より効果的なアプローチの必要性を強調している。

関連論文リスト

Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics [0.0]
本研究では,大言語モデル(LLM)における性別バイアスについて検討する。我々は、その性別認識を、人間の回答者、米国労働統計局のデータ、および50%の非バイアスベンチマークと比較する。
論文参考訳（メタデータ） (2024-11-20T22:43:18Z)
Popular LLMs Amplify Race and Gender Disparities in Human Mobility [2.601262068492271]
本研究では,大規模言語モデル (LLM) が人種や性別に基づく人体移動の予測に偏りを示すかどうかを検討する。 LLMは、既存の社会的バイアスをよく反映し、増幅する。
論文参考訳（メタデータ） (2024-11-18T19:41:20Z)
Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
論文参考訳（メタデータ） (2024-10-25T05:59:44Z)
GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文参考訳（メタデータ） (2024-08-22T15:35:46Z)
GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。既存のLVLMでは男女差が広くみられた。
論文参考訳（メタデータ） (2024-06-30T05:55:15Z)
GenderAlign: An Alignment Dataset for Mitigating Gender Bias in Large Language Models [20.98831667981121]
大きな言語モデル(LLM)は、性別バイアスを示すコンテンツを生成する傾向がある。 GenderAlignデータセットは8kのシングルターンダイアログで構成されており、それぞれに "chosen" と "rejected" の応答がペアリングされている。拒絶された」反応と比較すると、「ちょうせん」反応は性バイアスのレベルが低く、より高い品質を示す。
論文参考訳（メタデータ） (2024-06-20T01:45:44Z)
JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models [12.12628747941818]
本稿では,Large Language Models (LLMs) における階層的ジェンダー採用バイアスのベンチマークを行うための新しいフレームワークを提案する。我々は、労働経済学、法原則、現在のバイアスベンチマークの批判に根ざした新しい構成を導入する。我々は、現在最先端の10のLCMにおける性別採用バイアスを分析する。
論文参考訳（メタデータ） (2024-06-17T09:15:57Z)
Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
大規模言語モデル(LLM)はバイアス応答を生成することができる。条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
論文参考訳（メタデータ） (2024-02-17T04:48:55Z)
Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文参考訳（メタデータ） (2023-11-08T18:52:17Z)
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文参考訳（メタデータ） (2023-11-01T05:31:46Z)
Gender bias and stereotypes in Large Language Models [0.6882042556551611]
本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
論文参考訳（メタデータ） (2023-08-28T22:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。