論文の概要: Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement

• arxiv url: http://arxiv.org/abs/2506.22372v1
• Date: Fri, 27 Jun 2025 16:39:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.28755
• Title: Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement
• Title（参考訳）: 公正ランキングに向けて:ジェンダーバイアス検出・測定のためのLCMの活用
• Authors: Maryam Mousavian, Zahra Abbasiantaeb, Mohammad Aliannejadi, Fabio Crestani,
• Abstract要約: 自然言語処理(NLP)と情報検索(IR)システムの社会的バイアスは、現在進行中の課題である。 我々は,大言語モデル(LLM)を利用して,通過ランクの性別バイアスを検出し,測定することで,この問題に対処することを目指している。 そこで我々は,既存の制約に対処するために,CWEx (Class-wise Weighted Exposure) という新しいジェンダーフェアネス尺度を導入する。
• 参考スコア（独自算出の注目度）: 6.92803536773427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The presence of social biases in Natural Language Processing (NLP) and Information Retrieval (IR) systems is an ongoing challenge, which underlines the importance of developing robust approaches to identifying and evaluating such biases. In this paper, we aim to address this issue by leveraging Large Language Models (LLMs) to detect and measure gender bias in passage ranking. Existing gender fairness metrics rely on lexical- and frequency-based measures, leading to various limitations, e.g., missing subtle gender disparities. Building on our LLM-based gender bias detection method, we introduce a novel gender fairness metric, named Class-wise Weighted Exposure (CWEx), aiming to address existing limitations. To measure the effectiveness of our proposed metric and study LLMs' effectiveness in detecting gender bias, we annotate a subset of the MS MARCO Passage Ranking collection and release our new gender bias collection, called MSMGenderBias, to foster future research in this area. Our extensive experimental results on various ranking models show that our proposed metric offers a more detailed evaluation of fairness compared to previous metrics, with improved alignment to human labels (58.77% for Grep-BiasIR, and 18.51% for MSMGenderBias, measured using Cohen's Kappa agreement), effectively distinguishing gender bias in ranking. By integrating LLM-driven bias detection, an improved fairness metric, and gender bias annotations for an established dataset, this work provides a more robust framework for analyzing and mitigating bias in IR systems.
• Abstract（参考訳）: 自然言語処理(NLP)と情報検索(IR)システムにおける社会的バイアスの存在は、そのようなバイアスを特定し評価するための堅牢なアプローチを開発することの重要性を浮き彫りにしている。 本稿では,大言語モデル(LLM)を利用して,通過ランキングにおける性別バイアスを検出し,測定することで,この問題に対処することを目的とする。 既存のジェンダーフェアネスの指標は、語彙と周波数に基づく尺度に依存しており、微妙な男女差の欠如など、様々な制限に繋がる。 LLMに基づくジェンダーバイアス検出手法に基づいて,既存の制約に対処することを目的とした,CWEx(Class-wise Weighted Exposure)という,新しいジェンダーフェアネス指標を導入する。 提案手法の有効性を検証し,性別バイアス検出におけるLSMの有効性を検討するため,MS MARCOパスランキングコレクションのサブセットに注釈を付け,MSMGenderBiasと呼ばれる新たな性別バイアスコレクションを公開し,今後の研究を促進する。 様々なランキングモデルを用いた大規模な実験結果から,提案した指標は,人間のラベルのアライメントが向上した(Grep-BiasIRが58.77%,MSMGenderBiasが18.51%,CohenのKappa契約が18.51%)。 LLM駆動バイアス検出、改善された公正度メトリック、確立されたデータセットに対する性別バイアスアノテーションを統合することで、この研究はIRシステムのバイアスを分析し緩和するためのより堅牢なフレームワークを提供する。

関連論文リスト

• LFTF: Locating First and Then Fine-Tuning for Mitigating Gender Bias in Large Language Models [13.40656836132881]
  我々はGenBiasEvalとGenHintEvalというデータセットを提案する。 GenBiasEvalは、LDMにおける性別バイアスの程度を評価する責任がある。 GenHintEvalは、性ヒントを含むプロンプトと一致した応答を提供することができるかを評価するために使用される。
  論文  参考訳（メタデータ） (2025-05-21T12:49:37Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
  ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。 まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。 第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:55Z)
• Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by Ranking Algorithms [68.85295025020942]
  本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。 GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
  論文  参考訳（メタデータ） (2020-09-02T20:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。