論文の概要: VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution
- arxiv url: http://arxiv.org/abs/2306.12424v3
- Date: Tue, 12 Dec 2023 16:08:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 20:05:16.854259
- Title: VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution
- Title(参考訳): VisoGender:画像文代名詞分解における性別バイアスのベンチマーク用データセット
- Authors: Siobhan Mackenzie Hall, Fernanda Gon\c{c}alves Abrantes, Hanwen Zhu,
Grace Sodunke, Aleksandar Shtedritski, Hannah Rose Kirk
- Abstract要約: VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
- 参考スコア(独自算出の注目度): 80.57383975987676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce VisoGender, a novel dataset for benchmarking gender bias in
vision-language models. We focus on occupation-related biases within a
hegemonic system of binary gender, inspired by Winograd and Winogender schemas,
where each image is associated with a caption containing a pronoun relationship
of subjects and objects in the scene. VisoGender is balanced by gender
representation in professional roles, supporting bias evaluation in two ways:
i) resolution bias, where we evaluate the difference between pronoun resolution
accuracies for image subjects with gender presentations perceived as masculine
versus feminine by human annotators and ii) retrieval bias, where we compare
ratios of professionals perceived to have masculine and feminine gender
presentations retrieved for a gender-neutral search query. We benchmark several
state-of-the-art vision-language models and find that they demonstrate bias in
resolving binary gender in complex scenes. While the direction and magnitude of
gender bias depends on the task and the model being evaluated, captioning
models are generally less biased than Vision-Language Encoders. Dataset and
code are available at https://github.com/oxai/visogender
- Abstract(参考訳): 視覚言語モデルにおける性別バイアスをベンチマークするための新しいデータセットであるVisoGenderを紹介する。
ウィノグラードとウィノゲンダーのスキーマにインスパイアされた,二進性ジェンダーのヘゲモニックシステムにおける職業関連バイアスに着目し,各画像は場面における被写体と対象の代名詞関係を含むキャプションに関連付けられる。
VisoGenderは、職業的役割における性別表現によってバランスが取れ、バイアス評価を2つの方法で支援する。
一 男性と見なされる性表現を有する画像の被写体における代名詞分解能の精度と、人間の注釈者による女性との違いを評価するための分解能バイアス
二 性別中立性検索の検索において、男性及び女性性表現を有すると認識された専門家の比率を比較する検索バイアス。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、複雑な場面における二項性解消のバイアスを示す。
性別バイアスの方向と大きさは、タスクと評価されるモデルに依存するが、キャプションモデルは通常、視覚言語エンコーダよりもバイアスが少ない。
データセットとコードはhttps://github.com/oxai/visogenderで入手できる。
関連論文リスト
- Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for
Bias Evaluation in Machine Translation [0.0]
我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。
本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
論文 参考訳(メタデータ) (2023-11-07T07:09:59Z) - The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender
Characterisation in 55 Languages [51.2321117760104]
本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。
このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。
本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
論文 参考訳(メタデータ) (2023-08-31T17:20:50Z) - Model-Agnostic Gender Debiased Image Captioning [29.640940966944697]
イメージキャプションモデルは、トレーニングセットにおける有害な社会的バイアスを永続化し、増幅することが知られている。
我々は、合成バイアスされたサンプルから学習し、両方のバイアスを減少させるLIBRAというフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-07T15:30:49Z) - Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。
入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。
このような違いを推定する自動手法を提案する。
論文 参考訳(メタデータ) (2023-02-07T18:52:22Z) - Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation [72.02386627482056]
本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-01-26T13:58:46Z) - Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution
and Machine Translation [10.542861450223128]
3つのドメインのコーパスにおいて,ステレオタイプおよび非ステレオタイプなジェンダーロール代入を示す文法パターンが発見された。
我々は、コーパスの品質を手動で検証し、様々なコア参照解像度と機械翻訳モデルにおける性別バイアスを評価する。
論文 参考訳(メタデータ) (2021-09-08T18:14:11Z) - Stereotype and Skew: Quantifying Gender Bias in Pre-trained and
Fine-tuned Language Models [5.378664454650768]
本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。
性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
論文 参考訳(メタデータ) (2021-01-24T10:57:59Z) - Mitigating Gender Bias in Captioning Systems [56.25457065032423]
ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。
本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
論文 参考訳(メタデータ) (2020-06-15T12:16:19Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。