論文の概要: Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets

• arxiv url: http://arxiv.org/abs/2305.15407v1
• Date: Wed, 24 May 2023 17:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 13:44:22.928809
• Title: Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets
• Title（参考訳）: 画像のバランシング:合成コントラストセットによるビジョンランゲージデータセットのデバイアス
• Authors: Brandon Smith, Miguel Farinha, Siobhan Mackenzie Hall, Hannah Rose Kirk, Aleksandar Shtedritski, Max Bain
• Abstract要約: 視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 52.77024349608834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models are growing in popularity and public visibility to generate, edit, and caption images at scale; but their outputs can perpetuate and amplify societal biases learned during pre-training on uncurated image-text pairs from the internet. Although debiasing methods have been proposed, we argue that these measurements of model bias lack validity due to dataset bias. We demonstrate there are spurious correlations in COCO Captions, the most commonly used dataset for evaluating bias, between background context and the gender of people in-situ. This is problematic because commonly-used bias metrics (such as Bias@K) rely on per-gender base rates. To address this issue, we propose a novel dataset debiasing pipeline to augment the COCO dataset with synthetic, gender-balanced contrast sets, where only the gender of the subject is edited and the background is fixed. However, existing image editing methods have limitations and sometimes produce low-quality images; so, we introduce a method to automatically filter the generated images based on their similarity to real images. Using our balanced synthetic contrast sets, we benchmark bias in multiple CLIP-based models, demonstrating how metrics are skewed by imbalance in the original COCO images. Our results indicate that the proposed approach improves the validity of the evaluation, ultimately contributing to more realistic understanding of bias in vision-language models.
• Abstract（参考訳）: 視覚言語モデルの人気は高まり、大規模な画像の生成、編集、キャプションの可視性も高まっているが、その出力はインターネットから未作成の画像テキストペアを事前学習中に学んだ社会バイアスを持続し、増幅することができる。 デバイアス手法が提案されているが、これらのモデルバイアスの測定はデータセットバイアスによる妥当性を欠いている。 背景状況と性別の偏りを評価するために最もよく使われるデータセットであるCOCOキャピションには、素早い相関関係があることを実証する。 一般的に使用されているバイアスメトリクス(Bias@Kなど)はジェンダー単位のベースレートに依存しているため、これは問題となる。 そこで本研究では,ココデータセットを合成,男女バランスの取れたコントラストセットで拡張し,対象者の性別のみを編集し,背景を固定する新しいデータセットデバイアスパイプラインを提案する。 しかし,既存の画像編集手法には限界があり,品質の低い画像を生成する場合があるため,実画像との類似性に基づいて生成画像を自動的にフィルタリングする手法を提案する。 バランスの取れた合成コントラストセットを用いて、複数のCLIPモデルでバイアスをベンチマークし、元のCOCO画像の不均衡によってメトリクスがどのように歪められているかを示す。 その結果,提案手法は評価の有効性を向上し,視覚言語モデルにおけるバイアスのより現実的な理解に寄与することが示唆された。

関連論文リスト

• GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models [75.04426753720553]
  開集合におけるバイアスを特定し,定量化し,説明するための枠組みを提案する。 このパイプラインはLarge Language Model (LLM)を活用して、一連のキャプションから始まるバイアスを提案する。 このフレームワークには、OpenBiasとGradBiasの2つのバリエーションがあります。
  論文  参考訳（メタデータ） (2024-08-29T16:51:07Z)
• Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
  我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。 本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。 提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
  論文  参考訳（メタデータ） (2023-05-23T21:31:16Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• To Find Waldo You Need Contextual Cues: Debiasing Who's Waldo [53.370023611101175]
  本稿では,Cuiらによって提案されたPerson-centric Visual Groundingタスクに対して,偏りのあるデータセットを提案する。 画像とキャプションが与えられた場合、PCVGはキャプションに記載されている人物の名前と、画像内の人物を指し示すバウンディングボックスをペアリングする必要がある。 オリジナルのWho's Waldoデータセットには、メソッドによって簡単に解ける多数のバイアスのあるサンプルが含まれていることが分かりました。
  論文  参考訳（メタデータ） (2022-03-30T21:35:53Z)
• BiaSwap: Removing dataset bias with bias-tailored swapping augmentation [20.149645246997668]
  ディープニューラルネットワークは、データセット固有のスプリットな相関に基づいて決定することが多く、偏りのないデータ分布を一般化することができない。 本稿では,バイアスタイプの監督を必要とせず,非バイアス表現を学習するための,バイアス調整強化に基づく新しいアプローチBiaSwapを提案する。
  論文  参考訳（メタデータ） (2021-08-23T08:35:26Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)
• Evaluating and Mitigating Bias in Image Classifiers: A Causal Perspective Using Counterfactuals [27.539001365348906]
  本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。 本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
  論文  参考訳（メタデータ） (2020-09-17T13:19:31Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。