論文の概要: Probing Intersectional Biases in Vision-Language Models with Counterfactual Examples

• arxiv url: http://arxiv.org/abs/2310.02988v1
• Date: Wed, 4 Oct 2023 17:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:39:19.257205
• Title: Probing Intersectional Biases in Vision-Language Models with Counterfactual Examples
• Title（参考訳）: 実例を用いた視覚言語モデルにおける断面積バイアスの探索
• Authors: Phillip Howard, Avinash Madasu, Tiep Le, Gustavo Lujan Moreno, Vasudev Lal
• Abstract要約: 我々は、テキスト・ツー・イメージ拡散モデルを用いて、大規模に侵入する社会的バイアスを探索する対実例を作成する。 提案手法では,安定拡散とクロスアテンション制御を用いて,対実的画像とテキストのペアのセットを生成する。 我々は、最先端のVLMに存在する交叉社会的バイアスを明らかにするために、生成されたデータセットを用いて広範な実験を行う。
• 参考スコア（独自算出の注目度）: 5.870913541790421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While vision-language models (VLMs) have achieved remarkable performance improvements recently, there is growing evidence that these models also posses harmful biases with respect to social attributes such as gender and race. Prior studies have primarily focused on probing such bias attributes individually while ignoring biases associated with intersections between social attributes. This could be due to the difficulty of collecting an exhaustive set of image-text pairs for various combinations of social attributes from existing datasets. To address this challenge, we employ text-to-image diffusion models to produce counterfactual examples for probing intserctional social biases at scale. Our approach utilizes Stable Diffusion with cross attention control to produce sets of counterfactual image-text pairs that are highly similar in their depiction of a subject (e.g., a given occupation) while differing only in their depiction of intersectional social attributes (e.g., race & gender). We conduct extensive experiments using our generated dataset which reveal the intersectional social biases present in state-of-the-art VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は近年顕著な性能向上を遂げているが、性別や人種などの社会的属性に関して有害なバイアスが生じる証拠も増えている。 先行研究は、社会的属性間の交点に関連するバイアスを無視しながら、個別にバイアス属性を探索することに焦点を当ててきた。 これは、既存のデータセットから様々な社会的属性の組み合わせのために、画像とテキストのペアを徹底的に集めることが難しいためかもしれない。 この課題に対処するため,我々は,テキストから画像への拡散モデルを用いて,大規模社会バイアスを探究する反事実的例を作成した。 本手法では, 対象の描写(例えば, 与えられた職業)に非常に類似する対物的イメージテキストペアを生成できる一方で, 交叉的社会的属性(例えば, 人種や性別)の描写においてのみ異なる対物的イメージテキストペアの組を生成するために, クロスアテンション制御を伴う安定した拡散を利用する。 我々は,最先端のvlmに存在する交叉的社会バイアスを明らかにするために,生成されたデータセットを用いて広範な実験を行う。

関連論文リスト

• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models [3.3454373538792552]
  本稿では,拡散型テキスト・画像モデルにおける交叉バイアスに対処する手法を提案する。 提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
  論文  参考訳（メタデータ） (2024-03-28T17:54:38Z)
• SocialCounterfactuals: Probing and Mitigating Intersectional Social Biases in Vision-Language Models with Counterfactual Examples [6.084482865688909]
  我々はテキスト・ツー・イメージ拡散モデルを用いて、大規模に交叉する社会的バイアスを探索する対実例を作成した。 提案手法では,安定拡散とクロスアテンション制御を用いて,対実的画像とテキストのペアのセットを生成する。 我々は、性別、人種、身体特性に関連する交叉バイアスを求めるために、171kの画像テキストペアを含む高品質なデータセットであるSocialCounterfactualsを作成した。
  論文  参考訳（メタデータ） (2023-11-30T18:32:14Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Fairness in AI Systems: Mitigating gender bias from language-vision models [0.913755431537592]
  既存のデータセットにおける性別バイアスの影響について検討する。 本稿では,キャプションに基づく言語視覚モデルにおけるその影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T04:33:44Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
  我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。 入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。 このような違いを推定する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:52:22Z)
• How well can Text-to-Image Generative Models understand Ethical Natural Language Interventions? [67.97752431429865]
  倫理的介入を加える際の画像の多様性への影響について検討した。 予備研究は、モデル予測の大きな変化が「性別の無視」のような特定のフレーズによって引き起こされることを示している。
  論文  参考訳（メタデータ） (2022-10-27T07:32:39Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。