論文の概要: VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution

• arxiv url: http://arxiv.org/abs/2306.12424v1
• Date: Wed, 21 Jun 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 12:31:00.267038
• Title: VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution
• Title（参考訳）: VisoGender:画像文代名詞分解における性別バイアスのベンチマーク用データセット
• Authors: Siobhan Mackenzie Hall, Fernanda Gon\c{c}alves Abrantes, Hanwen Zhu, Grace Sodunke, Aleksandar Shtedritski, Hannah Rose Kirk
• Abstract要約: VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 我々は、ウィノグラードとウィノゲンダーのスキーマにインスパイアされた職業関連性バイアスに焦点を当てる。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、複雑な場面でジェンダーを正しく解決する推論能力が欠如していることを発見した。
• 参考スコア（独自算出の注目度）: 105.54048699217668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce VisoGender, a novel dataset for benchmarking gender bias in vision-language models. We focus on occupation-related gender biases, inspired by Winograd and Winogender schemas, where each image is associated with a caption containing a pronoun relationship of subjects and objects in the scene. VisoGender is balanced by gender representation in professional roles, supporting bias evaluation in two ways: i) resolution bias, where we evaluate the difference between gender resolution accuracies for men and women and ii) retrieval bias, where we compare ratios of male and female professionals retrieved for a gender-neutral search query. We benchmark several state-of-the-art vision-language models and find that they lack the reasoning abilities to correctly resolve gender in complex scenes. While the direction and magnitude of gender bias depends on the task and the model being evaluated, captioning models generally are more accurate and less biased than CLIP-like models. Dataset and code are available at https://github.com/oxai/visogender
• Abstract（参考訳）: 視覚言語モデルにおける性別バイアスをベンチマークするための新しいデータセットであるVisoGenderを紹介する。 ウィノグラード・アンド・ウィノゲダー・スキーマに触発された職業関連ジェンダーバイアスに着目し,各画像は場面における被写体と対象の代名詞関係を含むキャプションに関連付けられる。 VisoGenderは、職業的役割における性別表現によってバランスが取れ、バイアス評価を2つの方法で支援する。 一 男性と女性のジェンダー解決精度の差を評価する解決バイアス 二 性別中立な検索クエリのために検索された男女のプロの比率を比較する検索バイアス。 我々は最先端の視覚言語モデルをいくつかベンチマークし、複雑なシーンで正しく性別を解決できる推論能力が欠けていることを突き止めた。 ジェンダーバイアスの方向と大きさはタスクと評価されるモデルに依存するが、キャプションモデルは一般的にCLIPのようなモデルよりも正確でバイアスが少ない。 データセットとコードはhttps://github.com/oxai/visogenderで入手できる。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects [58.27353205269664]
  本稿では,Paired Stereotype Test (PST) フレームワークを提案する。 PSTクエリT2Iモデルは、男性ステレオタイプと女性ステレオタイプに割り当てられた2つの個人を描写する。 PSTを用いて、ジェンダーバイアスの2つの側面、つまり、ジェンダーの職業におけるよく知られたバイアスと、組織力におけるバイアスという新しい側面を評価する。
  論文  参考訳（メタデータ） (2024-02-16T21:32:27Z)
• Model-Agnostic Gender Debiased Image Captioning [29.640940966944697]
  イメージキャプションモデルは、トレーニングセットにおける有害な社会的バイアスを永続化し、増幅することが知られている。 我々は、合成バイアスされたサンプルから学習し、両方のバイアスを減少させるLIBRAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:30:49Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。