論文の概要: Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation

• arxiv url: http://arxiv.org/abs/2509.07596v1
• Date: Tue, 09 Sep 2025 11:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.278278
• Title: Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation
• Title（参考訳）: ジェンダーバイアスベンチマークのバイアス:スプーラスな特徴がいかに歪曲するか
• Authors: Yusuke Hirota, Ryo Hachiuma, Boyi Li, Ximing Lu, Michael Ross Boone, Boris Ivanovic, Yejin Choi, Marco Pavone, Yu-Chiang Frank Wang, Noa Garcia, Yuta Nakashima, Chao-Han Huck Yang,
• Abstract要約: 対象物の10%だけをマスクしたり、背景が弱くぼやけたりといった、最小限の摂動でさえ、バイアススコアを劇的に変える可能性がある。 これは、現在のバイアス評価がモデル応答を、性別バイアスよりも刺激的な特徴に反映していることを示唆している。
• 参考スコア（独自算出の注目度）: 116.86965910589775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gender bias in vision-language foundation models (VLMs) raises concerns about their safe deployment and is typically evaluated using benchmarks with gender annotations on real-world images. However, as these benchmarks often contain spurious correlations between gender and non-gender features, such as objects and backgrounds, we identify a critical oversight in gender bias evaluation: Do spurious features distort gender bias evaluation? To address this question, we systematically perturb non-gender features across four widely used benchmarks (COCO-gender, FACET, MIAP, and PHASE) and various VLMs to quantify their impact on bias evaluation. Our findings reveal that even minimal perturbations, such as masking just 10% of objects or weakly blurring backgrounds, can dramatically alter bias scores, shifting metrics by up to 175% in generative VLMs and 43% in CLIP variants. This suggests that current bias evaluations often reflect model responses to spurious features rather than gender bias, undermining their reliability. Since creating spurious feature-free benchmarks is fundamentally challenging, we recommend reporting bias metrics alongside feature-sensitivity measurements to enable a more reliable bias assessment.
• Abstract（参考訳）: 視覚言語基盤モデル(VLM)のジェンダーバイアスは、その安全なデプロイメントに対する懸念を高め、典型的には、実世界の画像に性別アノテーションのあるベンチマークを用いて評価される。 しかしながら、これらのベンチマークは、オブジェクトや背景のような性的特徴と非性的特徴との間に急激な相関関係をしばしば含んでいるため、私たちは、性的バイアス評価における重要な監督を見極める: 刺激的な特徴は性的バイアス評価を歪ませるだろうか? そこで本研究では,COCO-Gender,FACET,MIAP,PHASEの4つのベンチマークと様々なVLMを用いて,非ジェンダーの特徴を体系的に摂動させ,バイアス評価への影響を定量化する。 対象物の10%のマスキングや背景の曖昧さなど,最小限の摂動でも,バイアススコアが劇的に変化し,生成型VLMでは最大175%,CLIPでは43%に変化することが判明した。 これは、現在のバイアス評価が、しばしば性別バイアスよりも刺激的な特徴にモデル応答を反映し、信頼性を損なうことを示唆している。 突発的な機能フリーベンチマークを作成することは基本的に難しいので、より信頼性の高いバイアス評価を可能にするために、機能感度測定と並行してバイアスメトリクスを報告することを推奨します。

関連論文リスト

• Measuring Bias or Measuring the Task: Understanding the Brittle Nature of LLM Gender Biases [2.9803250365852443]
  本稿では, 課題評価の目的が, LLMの性別バイアスに与える影響について検討する。 ジェンダーバイアス(性偏見)の評価とより明確に一致していることが、ジェンダーの出力分布を区別する要因であることがわかった。
  論文  参考訳（メタデータ） (2025-09-04T16:32:18Z)
• Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement [6.92803536773427]
  自然言語処理(NLP)と情報検索(IR)システムの社会的バイアスは、現在進行中の課題である。 我々は,大言語モデル(LLM)を利用して,通過ランクの性別バイアスを検出し,測定することで,この問題に対処することを目指している。 そこで我々は,既存の制約に対処するために,CWEx (Class-wise Weighted Exposure) という新しいジェンダーフェアネス尺度を導入する。
  論文  参考訳（メタデータ） (2025-06-27T16:39:12Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。