論文の概要: Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.15568v1
• Date: Wed, 18 Jun 2025 15:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.72604
• Title: Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models
• Title（参考訳）: Gender Inclusivity Fairness Index (GIFI):大規模言語モデルにおけるジェンダー多様性評価のための多段階フレームワーク
• Authors: Zhengyang Shan, Emily Ruth Diana, Jiawei Zhou,
• Abstract要約: 大規模言語モデル(LLM)におけるジェンダーフェアネスの包括的評価について述べる。 我々は, LLMの多様な性傾度を定量化する, 新しく包括的な尺度である, Gender Inclusivity Fairness Index (GIFI)を紹介した。
• 参考スコア（独自算出の注目度）: 7.1675038717352795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive evaluation of gender fairness in large language models (LLMs), focusing on their ability to handle both binary and non-binary genders. While previous studies primarily focus on binary gender distinctions, we introduce the Gender Inclusivity Fairness Index (GIFI), a novel and comprehensive metric that quantifies the diverse gender inclusivity of LLMs. GIFI consists of a wide range of evaluations at different levels, from simply probing the model with respect to provided gender pronouns to testing various aspects of model generation and cognitive behaviors under different gender assumptions, revealing biases associated with varying gender identifiers. We conduct extensive evaluations with GIFI on 22 prominent open-source and proprietary LLMs of varying sizes and capabilities, discovering significant variations in LLMs' gender inclusivity. Our study highlights the importance of improving LLMs' inclusivity, providing a critical benchmark for future advancements in gender fairness in generative models.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)における男女の公平さを包括的に評価し,二元性と非二元性の両方を扱う能力に着目した。 前回の研究は、主に二項性差に焦点を当てていたが、LLMの多様な性傾度を定量化する、新しく包括的な尺度である、性差性公正度指数(Gender Inclusivity Fairness Index, GIFI)を導入している。 GIFIは、与えられた性別代名詞に関するモデルを単に探索することから、異なる性別の仮定の下でモデル生成と認知行動の様々な側面をテストすること、様々な性別の識別子に関連するバイアスを明らかにすることまで、様々なレベルでの幅広い評価で構成されている。 LLMsの性別傾向に有意な変化がみられ,その大きさや能力の異なる,22の著名なオープンソースおよびプロプライエタリなLCMに対して,GIFIを用いて広範囲に評価を行った。 本研究は、LCMの傾きを改善することの重要性を強調し、世代モデルにおけるジェンダーフェアネスの今後の進歩に重要なベンチマークを提供する。

関連論文リスト

• Exploring Gender Bias in Large Language Models: An In-depth Dive into the German Language [21.87606488958834]
  大規模言語モデル(LLM)における性別バイアス評価のためのドイツの5つのデータセットを提案する。 データセットは、ジェンダーバイアスというよく確立された概念に基づいており、複数の方法論を通してアクセス可能である。 8種類の多言語 LLM モデルで報告された本研究は,ドイツ語の性差にかかわる独特な課題を明らかにした。
  論文  参考訳（メタデータ） (2025-07-22T13:09:41Z)
• Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement [6.92803536773427]
  自然言語処理(NLP)と情報検索(IR)システムの社会的バイアスは、現在進行中の課題である。 我々は,大言語モデル(LLM)を利用して,通過ランクの性別バイアスを検出し,測定することで,この問題に対処することを目指している。 そこで我々は,既存の制約に対処するために,CWEx (Class-wise Weighted Exposure) という新しいジェンダーフェアネス尺度を導入する。
  論文  参考訳（メタデータ） (2025-06-27T16:39:12Z)
• Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets [17.101242741559428]
  本稿では,言語モデルの固有バイアス緩和と測定戦略に焦点を当てる。 我々は、本質的な測定を深く掘り下げ、矛盾を識別し、これらのベンチマークがジェンダーステレオタイプの違いを反映している可能性を示唆している。 本研究は, 言語モデルにおけるジェンダーステレオタイピングの複雑さと, 偏見の検出・低減のための, より洗練された手法を開発するための新たな方向性を指摘するものである。
  論文  参考訳（メタデータ） (2025-01-02T09:40:31Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。 性バイアスとは、特定の役割や特性と特定の性別の関連性である。 ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。