論文の概要: GenderBench: Evaluation Suite for Gender Biases in LLMs

• arxiv url: http://arxiv.org/abs/2505.12054v1
• Date: Sat, 17 May 2025 15:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.012598
• Title: GenderBench: Evaluation Suite for Gender Biases in LLMs
• Title（参考訳）: GenderBench: LLMにおけるジェンダーバイアス評価スイート
• Authors: Matúš Pikuliak,
• Abstract要約: GenderBenchは、LSMの性別バイアスを測定するために設計された総合的な評価スイートである。 GenderBenchには、19の性別に関連する有害な行動を定量化する14のプローブが含まれている。 我々の測定は、彼らの行動に一貫したパターンを明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present GenderBench -- a comprehensive evaluation suite designed to measure gender biases in LLMs. GenderBench includes 14 probes that quantify 19 gender-related harmful behaviors exhibited by LLMs. We release GenderBench as an open-source and extensible library to improve the reproducibility and robustness of benchmarking across the field. We also publish our evaluation of 12 LLMs. Our measurements reveal consistent patterns in their behavior. We show that LLMs struggle with stereotypical reasoning, equitable gender representation in generated texts, and occasionally also with discriminatory behavior in high-stakes scenarios, such as hiring.
• Abstract（参考訳）: LLMの性別バイアスを測定するための総合的な評価スイートであるGenderBenchを紹介する。 ジェンダーベンチには、LSMが示す19の性別に関連する有害な行動を定量化する14のプローブが含まれている。 我々はGenderBenchをオープンソースかつ拡張可能なライブラリとしてリリースし、フィールド全体のベンチマークの再現性と堅牢性を改善します。 また,12 LLMの評価結果も公表した。 我々の測定は、彼らの行動に一貫したパターンを明らかにする。 LLMは, テキスト生成において, ステレオタイプ的推論, ジェンダー表現に苦しむとともに, 時として, 雇用などの高額なシナリオにおいて差別的行動に悩まされることが示される。

関連論文リスト

• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• GenderAlign: An Alignment Dataset for Mitigating Gender Bias in Large Language Models [20.98831667981121]
  大きな言語モデル(LLM)は、性別バイアスを示すコンテンツを生成する傾向がある。 GenderAlignデータセットは8kのシングルターンダイアログで構成されており、それぞれに "chosen" と "rejected" の応答がペアリングされている。 拒絶された」反応と比較すると、「ちょうせん」反応は性バイアスのレベルが低く、より高い品質を示す。
  論文  参考訳（メタデータ） (2024-06-20T01:45:44Z)
• Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
  大規模言語モデル(LLM)はバイアス応答を生成することができる。 条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-02-17T04:48:55Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。