論文の概要: GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing

• arxiv url: http://arxiv.org/abs/2407.00600v1
• Date: Sun, 30 Jun 2024 05:55:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:26:49.444625
• Title: GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing
• Title（参考訳）: GenderBias-\emph{VL}: 対実探索による視覚言語モデルにおけるジェンダーバイアスのベンチマーク
• Authors: Yisong Xiao, Aishan Liu, QianJia Cheng, Zhenfei Yin, Siyuan Liang, Jiapeng Li, Jing Shao, Xianglong Liu, Dacheng Tao,
• Abstract要約: 本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
• 参考スコア（独自算出の注目度）: 72.0343083866144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have been widely adopted in various applications; however, they exhibit significant gender biases. Existing benchmarks primarily evaluate gender bias at the demographic group level, neglecting individual fairness, which emphasizes equal treatment of similar individuals. This research gap limits the detection of discriminatory behaviors, as individual fairness offers a more granular examination of biases that group fairness may overlook. For the first time, this paper introduces the GenderBias-\emph{VL} benchmark to evaluate occupation-related gender bias in LVLMs using counterfactual visual questions under individual fairness criteria. To construct this benchmark, we first utilize text-to-image diffusion models to generate occupation images and their gender counterfactuals. Subsequently, we generate corresponding textual occupation options by identifying stereotyped occupation pairs with high semantic similarity but opposite gender proportions in real-world statistics. This method enables the creation of large-scale visual question counterfactuals to expose biases in LVLMs, applicable in both multimodal and unimodal contexts through modifying gender attributes in specific modalities. Overall, our GenderBias-\emph{VL} benchmark comprises 34,581 visual question counterfactual pairs, covering 177 occupations. Using our benchmark, we extensively evaluate 15 commonly used open-source LVLMs (\eg, LLaVA) and state-of-the-art commercial APIs, including GPT-4o and Gemini-Pro. Our findings reveal widespread gender biases in existing LVLMs. Our benchmark offers: (1) a comprehensive dataset for occupation-related gender bias evaluation; (2) an up-to-date leaderboard on LVLM biases; and (3) a nuanced understanding of the biases presented by these models. \footnote{The dataset and code are available at the \href{https://genderbiasvl.github.io/}{website}.}
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は様々な用途で広く採用されているが、男女差が顕著である。 既存のベンチマークは、主に人口集団レベルで性別バイアスを評価し、類似した個人の平等を尊重する。 この研究のギャップは、グループフェアネスが見落としているかもしれないバイアスのよりきめ細かい検査を提供するため、差別的行動の検出を制限する。 本稿では,LVLMにおける職業関連性バイアスを,個別の公正度基準下での対実的視覚的質問を用いて評価するために,GenderBias-\emph{VL}ベンチマークを初めて導入する。 このベンチマークを構築するために、まずテキストから画像への拡散モデルを用いて、職業画像とそのジェンダーカウンターファクトを生成する。 その後、実世界の統計において、意味的類似度が高いが性別比の逆のステレオタイプ化された職業ペアを識別することにより、対応するテキストの職業オプションを生成する。 本手法は,LVLMにおいて,性別属性を特定のモダリティで変化させることにより,多モーダル・ユニモーダルの両文脈に適用可能な,大規模な視覚的疑似事実の作成を可能にする。 総じて、GenderBias-\emph{VL} ベンチマークは、34,581の視覚的質問対を対象とし、177の職業をカバーしている。 GPT-4o や Gemini-Pro など15のオープンソース LVLM (\eg, LLaVA) と最先端の商用 API を幅広く評価した。 既存のLVLMでは男女差が広くみられた。 本ベンチマークでは,(1)職業関連性バイアス評価のための包括的データセット,(2)LVLMバイアスに関する最新のリーダーボード,(3)これらのモデルが提示するバイアスの微妙な理解を提供する。 データセットとコードは \href{https://genderbiasvl.github.io/}{website} で公開されている。 ※

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Towards Region-aware Bias Evaluation Metrics [26.91545185271231]
  性別バイアスの地域差を同定し,バイアス評価のための地域別ボトムアップアプローチを提案する。 提案手法は,ある地域におけるジェンダー・アライメント・トピックを使用し,トピック・ペアの形でジェンダー・バイアス・ディメンションを識別する。 提案するバイアストピックペアのいくつかは、既存のものと比較して、これらの領域における性別バイアスに対する人間の認識に匹敵するものである。
  論文  参考訳（メタデータ） (2024-06-23T16:26:27Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
  大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。 このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。 本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:57:43Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
  推論による自然言語理解における性別バイアスの評価手法を提案する。 チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。 その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
  論文  参考訳（メタデータ） (2021-05-12T09:41:51Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。