論文の概要: Evaluating Gender Bias of LLMs in Making Morality Judgements

• arxiv url: http://arxiv.org/abs/2410.09992v1
• Date: Sun, 13 Oct 2024 20:19:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 03:43:37.204229
• Title: Evaluating Gender Bias of LLMs in Making Morality Judgements
• Title（参考訳）: 道徳判断におけるLCMの性バイアス評価
• Authors: Divij Bajaj, Yuanyuan Lei, Jonathan Tong, Ruihong Huang,
• Abstract要約: 本研究は,現在かつオープンソースであるLarge Language Models (LLMs) がジェンダーバイアスを持つかどうかを考察する。 これらのモデルを評価するために、新しいデータセットGenMO(Gender-bias in Morality Opinions)をキュレートし、導入する。 GPTファミリー(GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4-turbo)、Llama 3および3.1ファミリー(8B/70B)、Mistral-7BおよびClaude 3ファミリー(SonnetとOpus)からモデルをテストする。 GPTは68-85%の症例に偏りを示し、Llama 3は周囲に偏っている。
• 参考スコア（独自算出の注目度）: 15.997086170275615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities in a multitude of Natural Language Processing (NLP) tasks. However, these models are still not immune to limitations such as social biases, especially gender bias. This work investigates whether current closed and open-source LLMs possess gender bias, especially when asked to give moral opinions. To evaluate these models, we curate and introduce a new dataset GenMO (Gender-bias in Morality Opinions) comprising parallel short stories featuring male and female characters respectively. Specifically, we test models from the GPT family (GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4-turbo), Llama 3 and 3.1 families (8B/70B), Mistral-7B and Claude 3 families (Sonnet and Opus). Surprisingly, despite employing safety checks, all production-standard models we tested display significant gender bias with GPT-3.5-turbo giving biased opinions in 24% of the samples. Additionally, all models consistently favour female characters, with GPT showing bias in 68-85% of cases and Llama 3 in around 81-85% instances. Additionally, our study investigates the impact of model parameters on gender bias and explores real-world situations where LLMs reveal biases in moral decision-making.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理(NLP)タスクで顕著な機能を示している。 しかし、これらのモデルは、社会的偏見、特にジェンダー偏見のような制限にまだ免疫がない。 この研究は、特に道徳的意見を求めるとき、現在のクローズドでオープンソースなLLMが性バイアスを持っているかどうかを調査する。 これらのモデルを評価するために,男性と女性を特徴とする平行した短編記事からなる新しいデータセットGenMO(Gender-bias in Morality Opinions)をキュレートし,導入した。 具体的には、GPTファミリー(GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4-turbo)、Llama 3および3.1ファミリー(8B/70B)、Mistral-7BおよびClaude 3ファミリー(SonnetとOpus)のモデルをテストする。 GPT-3.5-turboで男女差を有意に示し、サンプルの24%に偏りが認められた。 さらに、すべてのモデルは女性キャラクタを常に好んでおり、GPTは68～85%、Llama 3は81～85%である。 さらに,モデルパラメータがジェンダーバイアスに与える影響について検討し,LLMが道徳的意思決定におけるバイアスを明らかにする現実世界の状況について検討した。

関連論文リスト

• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• Evaluating Gender, Racial, and Age Biases in Large Language Models: A Comparative Analysis of Occupational and Crime Scenarios [0.0]
  本稿では,Large Language Models(LLMs)におけるバイアスについて検討する。 LLMは、様々な職業において、男性よりも頻繁に女性キャラクターを描いていることが判明した。 性別と人種の偏見を減らそうとする努力は、しばしば1つのサブクラスを超越する結果をもたらす。
  論文  参考訳（メタデータ） (2024-09-22T20:21:20Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Hire Me or Not? Examining Language Model's Behavior with Occupation Attributes [7.718858707298602]
  大規模言語モデル(LLM)は、採用やレコメンデーションシステムなど、プロダクションパイプラインに広く統合されている。 本稿では、職業意思決定の文脈において、ジェンダーステレオタイプに関するLCMの行動について検討する。
  論文  参考訳（メタデータ） (2024-05-06T18:09:32Z)
• Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
  大規模言語モデル(LLM)はバイアス応答を生成することができる。 条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-02-17T04:48:55Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
  下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。 一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。 特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
  論文  参考訳（メタデータ） (2021-02-08T11:10:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。