論文の概要: SocialCounterfactuals: Probing and Mitigating Intersectional Social Biases in Vision-Language Models with Counterfactual Examples
- arxiv url: http://arxiv.org/abs/2312.00825v2
- Date: Tue, 9 Apr 2024 23:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 19:06:08.355282
- Title: SocialCounterfactuals: Probing and Mitigating Intersectional Social Biases in Vision-Language Models with Counterfactual Examples
- Title（参考訳）: ソーシャルCounterfactuals: 対実例を用いた視覚・言語モデルにおける間欠的社会バイアスの探索と緩和
- Authors: Phillip Howard, Avinash Madasu, Tiep Le, Gustavo Lujan Moreno, Anahita Bhiwandiwalla, Vasudev Lal,
- Abstract要約: 我々はテキスト・ツー・イメージ拡散モデルを用いて、大規模に交叉する社会的バイアスを探索する対実例を作成した。
提案手法では,安定拡散とクロスアテンション制御を用いて,対実的画像とテキストのペアのセットを生成する。
我々は、性別、人種、身体特性に関連する交叉バイアスを求めるために、171kの画像テキストペアを含む高品質なデータセットであるSocialCounterfactualsを作成した。
- 参考スコア（独自算出の注目度）: 6.084482865688909
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While vision-language models (VLMs) have achieved remarkable performance improvements recently, there is growing evidence that these models also posses harmful biases with respect to social attributes such as gender and race. Prior studies have primarily focused on probing such bias attributes individually while ignoring biases associated with intersections between social attributes. This could be due to the difficulty of collecting an exhaustive set of image-text pairs for various combinations of social attributes. To address this challenge, we employ text-to-image diffusion models to produce counterfactual examples for probing intersectional social biases at scale. Our approach utilizes Stable Diffusion with cross attention control to produce sets of counterfactual image-text pairs that are highly similar in their depiction of a subject (e.g., a given occupation) while differing only in their depiction of intersectional social attributes (e.g., race & gender). Through our over-generate-then-filter methodology, we produce SocialCounterfactuals, a high-quality dataset containing 171k image-text pairs for probing intersectional biases related to gender, race, and physical characteristics. We conduct extensive experiments to demonstrate the usefulness of our generated dataset for probing and mitigating intersectional social biases in state-of-the-art VLMs.
- Abstract（参考訳）: 視覚言語モデル(VLM)は近年顕著な性能向上を遂げているが、性別や人種などの社会的属性に関して有害なバイアスが生じる証拠も増えている。
以前の研究では、主に、社会的属性間の交差に関連するバイアスを無視しながら、そのようなバイアス特性を個別に探索することに焦点を当てていた。
これは、様々な社会的属性の組み合わせに対して、画像とテキストのペアを徹底的に集めることの難しさによる可能性がある。
この課題に対処するために、我々はテキスト・ツー・イメージ拡散モデルを用いて、大規模に交叉する社会的バイアスを探索する対実例を作成する。
提案手法では,対物的イメージテキストの対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的対物的的
性別,人種,身体特性に関連する交叉バイアスを推定するための171kの画像テキストペアを含む高品質なデータセットであるSocialCounterfactualsを作成した。
我々は、最先端のVLMにおける交叉社会的バイアスの探索と緩和に生成されたデータセットの有用性を実証するために、広範囲にわたる実験を行った。
関連論文リスト
- MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models [3.3454373538792552]
本稿では,拡散型テキスト・画像モデルにおける交叉バイアスに対処する手法を提案する。
提案手法では,事前学習した安定拡散モデルを用いて,参照画像の追加の必要性を排除し,未修正概念の本来の品質を維持する。
論文 参考訳（メタデータ） (2024-03-28T17:54:38Z) - SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in
Generative Language Models [8.211129045180636]
我々は、生成言語モデルにおいて、シュティグマを通して、社会的偏見の増幅を捉えるためのベンチマークを導入する。
私たちのベンチマークであるSocialStigmaQAには、ソーシャルバイアスとモデル堅牢性の両方をテストするために慎重に構築された、さまざまなプロンプトスタイルの約10Kプロンプトが含まれています。
社会的に偏りのあるアウトプットの割合は、様々なデコード戦略やスタイルにまたがって45%から59%の範囲であることがわかった。
論文 参考訳（メタデータ） (2023-12-12T18:27:44Z) - Probing Intersectional Biases in Vision-Language Models with
Counterfactual Examples [5.870913541790421]
我々は、テキスト・ツー・イメージ拡散モデルを用いて、大規模に侵入する社会的バイアスを探索する対実例を作成する。
提案手法では,安定拡散とクロスアテンション制御を用いて,対実的画像とテキストのペアのセットを生成する。
我々は、最先端のVLMに存在する交叉社会的バイアスを明らかにするために、生成されたデータセットを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-04T17:25:10Z) - Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic
Contrast Sets [52.77024349608834]
視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。
COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。
本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
論文 参考訳（メタデータ） (2023-05-24T17:59:18Z) - Fairness in AI Systems: Mitigating gender bias from language-vision
models [0.913755431537592]
既存のデータセットにおける性別バイアスの影響について検討する。
本稿では,キャプションに基づく言語視覚モデルにおけるその影響を緩和する手法を提案する。
論文 参考訳（メタデータ） (2023-05-03T04:33:44Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳（メタデータ） (2023-03-20T19:32:49Z) - Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。
入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。
このような違いを推定する自動手法を提案する。
論文 参考訳（メタデータ） (2023-02-07T18:52:22Z) - How well can Text-to-Image Generative Models understand Ethical Natural
Language Interventions? [67.97752431429865]
倫理的介入を加える際の画像の多様性への影響について検討した。
予備研究は、モデル予測の大きな変化が「性別の無視」のような特定のフレーズによって引き起こされることを示している。
論文 参考訳（メタデータ） (2022-10-27T07:32:39Z) - The Tail Wagging the Dog: Dataset Construction Biases of Social Bias
Benchmarks [75.58692290694452]
社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。
これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
論文 参考訳（メタデータ） (2022-10-18T17:58:39Z) - DALL-Eval: Probing the Reasoning Skills and Social Biases of
Text-to-Image Generation Models [73.12069620086311]
テキスト・ツー・イメージ・モデルの視覚的推論能力と社会的バイアスについて検討する。
まず,物体認識,物体カウント,空間的関係理解という3つの視覚的推論スキルを計測する。
第2に、生成した画像の性別/肌の色調分布を測定することにより、性別と肌のトーンバイアスを評価する。
論文 参考訳（メタデータ） (2022-02-08T18:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。