論文の概要: Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision

• arxiv url: http://arxiv.org/abs/2311.15108v2
• Date: Sun, 11 Feb 2024 06:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 21:30:40.015136
• Title: Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision
• Title（参考訳）: 拡散摂動を利用したコンピュータビジョンの公平性測定
• Authors: Nicholas Lui, Bryan Chia, William Berrios, Candace Ross, Douwe Kiela
• Abstract要約: 拡散モデルを利用してそのようなデータセットを作成できることを実証する。 マルチクラスの職業分類タスクにおいて,複数の視覚言語モデルをベンチマークする。 非コーカサスラベルで生成された画像は、コーカサスラベルで生成された画像よりも、職業的誤分類率が高いことが判明した。
• 参考スコア（独自算出の注目度）: 25.414154497482162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer vision models have been known to encode harmful biases, leading to the potentially unfair treatment of historically marginalized groups, such as people of color. However, there remains a lack of datasets balanced along demographic traits that can be used to evaluate the downstream fairness of these models. In this work, we demonstrate that diffusion models can be leveraged to create such a dataset. We first use a diffusion model to generate a large set of images depicting various occupations. Subsequently, each image is edited using inpainting to generate multiple variants, where each variant refers to a different perceived race. Using this dataset, we benchmark several vision-language models on a multi-class occupation classification task. We find that images generated with non-Caucasian labels have a significantly higher occupation misclassification rate than images generated with Caucasian labels, and that several misclassifications are suggestive of racial biases. We measure a model's downstream fairness by computing the standard deviation in the probability of predicting the true occupation label across the different perceived identity groups. Using this fairness metric, we find significant disparities between the evaluated vision-and-language models. We hope that our work demonstrates the potential value of diffusion methods for fairness evaluations.
• Abstract（参考訳）: コンピュータビジョンモデルは有害なバイアスをエンコードすることが知られており、有色人種などの歴史的辺境集団に対する不公平な扱いにつながる可能性がある。 しかし、これらのモデルの下流の公平性を評価するのに使用できる、人口統計学的特徴に沿ってバランスをとるデータセットの欠如が残っている。 本研究では,そのようなデータセットを作成するために拡散モデルを活用できることを実証する。 まず拡散モデルを用いて、様々な職業を描写した大量の画像を生成する。 その後、各画像はインペインティングを使用して編集され、複数の変種を生成し、各変種は異なる認識された人種を参照する。 このデータセットを用いて、複数の視覚言語モデルをマルチクラス職業分類タスクでベンチマークする。 非コーカサスラベルで生成された画像は、コーカサスラベルで生成された画像よりもはるかに高い職業的誤分類率を示し、いくつかの誤分類は人種的偏見を示唆している。 異なる認識された同一集団間で真の職業ラベルを予測する確率の標準偏差を計算し、モデル下流の公平性を測定する。 この公平度測定値を用いて、評価された視覚・言語モデル間に大きな差異を見出す。 我々は,公平性評価における拡散法の潜在的価値を示すことを願っている。

関連論文リスト

• Dataset Scale and Societal Consistency Mediate Facial Impression Bias in Vision-Language AI [17.101569078791492]
  43のCLIP視覚言語モデルを用いて、人間の顔の印象バイアスを学習するかどうかを検証した。 社会全体でバイアスが共有される度合いがCLIPモデルに反映される度合いを予測するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-04T08:26:58Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
  公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。 モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある 本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:51:10Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• FACET: Fairness in Computer Vision Evaluation Benchmark [21.862644380063756]
  コンピュータビジョンモデルは、性別や肌のトーンなどの属性間でパフォーマンスの相違が知られている。 FACET (FAirness in Computer Vision EvaluaTion) という新しいベンチマークを提案する。 FACETは、最も一般的な視覚タスクのための32kイメージの大規模な、一般公開された評価セットである。
  論文  参考訳（メタデータ） (2023-08-31T17:59:48Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Understanding Gender and Racial Disparities in Image Recognition Models [0.0]
  クロスエントロピーを用いたマルチラベルソフトマックスの損失を,多ラベル分類問題における二進的クロスエントロピーの代わりに損失関数として検討する。 MR2データセットを用いて、モデル結果の公平性を評価し、モデルのアクティベーションを見て誤りを解釈し、可能な修正を提案する。
  論文  参考訳（メタデータ） (2021-07-20T01:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。