論文の概要: Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.15568v1
• Date: Wed, 18 Jun 2025 15:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.72604
• Title: Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models
• Title（参考訳）: Gender Inclusivity Fairness Index (GIFI):大規模言語モデルにおけるジェンダー多様性評価のための多段階フレームワーク
• Authors: Zhengyang Shan, Emily Ruth Diana, Jiawei Zhou,
• Abstract要約: 大規模言語モデル(LLM)におけるジェンダーフェアネスの包括的評価について述べる。 我々は, LLMの多様な性傾度を定量化する, 新しく包括的な尺度である, Gender Inclusivity Fairness Index (GIFI)を紹介した。
• 参考スコア（独自算出の注目度）: 7.1675038717352795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive evaluation of gender fairness in large language models (LLMs), focusing on their ability to handle both binary and non-binary genders. While previous studies primarily focus on binary gender distinctions, we introduce the Gender Inclusivity Fairness Index (GIFI), a novel and comprehensive metric that quantifies the diverse gender inclusivity of LLMs. GIFI consists of a wide range of evaluations at different levels, from simply probing the model with respect to provided gender pronouns to testing various aspects of model generation and cognitive behaviors under different gender assumptions, revealing biases associated with varying gender identifiers. We conduct extensive evaluations with GIFI on 22 prominent open-source and proprietary LLMs of varying sizes and capabilities, discovering significant variations in LLMs' gender inclusivity. Our study highlights the importance of improving LLMs' inclusivity, providing a critical benchmark for future advancements in gender fairness in generative models.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)における男女の公平さを包括的に評価し,二元性と非二元性の両方を扱う能力に着目した。 前回の研究は、主に二項性差に焦点を当てていたが、LLMの多様な性傾度を定量化する、新しく包括的な尺度である、性差性公正度指数(Gender Inclusivity Fairness Index, GIFI)を導入している。 GIFIは、与えられた性別代名詞に関するモデルを単に探索することから、異なる性別の仮定の下でモデル生成と認知行動の様々な側面をテストすること、様々な性別の識別子に関連するバイアスを明らかにすることまで、様々なレベルでの幅広い評価で構成されている。 LLMsの性別傾向に有意な変化がみられ,その大きさや能力の異なる,22の著名なオープンソースおよびプロプライエタリなLCMに対して,GIFIを用いて広範囲に評価を行った。 本研究は、LCMの傾きを改善することの重要性を強調し、世代モデルにおけるジェンダーフェアネスの今後の進歩に重要なベンチマークを提供する。

関連論文リスト

• Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets [17.101242741559428]
  本稿では,言語モデルの固有バイアス緩和と測定戦略に焦点を当てる。 我々は、本質的な測定を深く掘り下げ、矛盾を識別し、これらのベンチマークがジェンダーステレオタイプの違いを反映している可能性を示唆している。 本研究は, 言語モデルにおけるジェンダーステレオタイピングの複雑さと, 偏見の検出・低減のための, より洗練された手法を開発するための新たな方向性を指摘するものである。
  論文  参考訳（メタデータ） (2025-01-02T09:40:31Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。 性バイアスとは、特定の役割や特性と特定の性別の関連性である。 ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。