論文の概要: Pinpoint Counterfactuals: Reducing social bias in foundation models via localized counterfactual generation

• arxiv url: http://arxiv.org/abs/2412.09160v1
• Date: Thu, 12 Dec 2024 10:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:33.754403
• Title: Pinpoint Counterfactuals: Reducing social bias in foundation models via localized counterfactual generation
• Title（参考訳）: ピンポイント・カウンティファクト:局所的カウンティファクト・ジェネレーションによる基礎モデルの社会的偏見の低減
• Authors: Kirill Sirotkin, Marcos Escudero-Viñolo, Pablo Carballeira, Mayug Maniparambil, Catarina Barata, Noel E. O'Connor,
• Abstract要約: 本稿では,画像コンテキストを保存した局所的反事実生成手法を提案する。 提案手法は,最先端の代替手段よりも視覚的・意味的忠実度が高い。 カウンターファクトで微調整されたモデルでは、複数のメトリクス間で測定可能なバイアスの低減が示される。
• 参考スコア（独自算出の注目度）: 17.53599375848065
• License:
• Abstract: Foundation models trained on web-scraped datasets propagate societal biases to downstream tasks. While counterfactual generation enables bias analysis, existing methods introduce artifacts by modifying contextual elements like clothing and background. We present a localized counterfactual generation method that preserves image context by constraining counterfactual modifications to specific attribute-relevant regions through automated masking and guided inpainting. When applied to the Conceptual Captions dataset for creating gender counterfactuals, our method results in higher visual and semantic fidelity than state-of-the-art alternatives, while maintaining the performance of models trained using only real data on non-human-centric tasks. Models fine-tuned with our counterfactuals demonstrate measurable bias reduction across multiple metrics, including a decrease in gender classification disparity and balanced person preference scores, while preserving ImageNet zero-shot performance. The results establish a framework for creating balanced datasets that enable both accurate bias profiling and effective mitigation.
• Abstract（参考訳）: Webスクラッドデータセットに基づいてトレーニングされたファンデーションモデルは、社会的バイアスを下流タスクに伝達する。 反事実生成はバイアス分析を可能にするが、既存の手法では衣服や背景といったコンテキスト要素を変更することでアーティファクトを導入する。 本稿では, 自動マスキングとガイド塗装により, 特定の属性関連領域に反実的修正を限定することにより, 画像コンテキストを保存できる局所的反実的生成法を提案する。 ジェンダーカウンターファクトを作成するための概念キャプションデータセットに適用した場合,本手法は,非人間中心タスクの実際のデータのみを用いてトレーニングしたモデルの性能を維持しながら,最先端の代替モデルよりも視覚的,意味的忠実度が高い。 これらのモデルでは、画像ネットのゼロショット性能を保ちながら、性別分類の格差やバランスの取れた人選好スコアの低下など、複数の指標で測定可能なバイアスの低減が示されている。 結果は、正確なバイアスプロファイリングと効果的な緩和の両方を可能にするバランスのとれたデータセットを作成するためのフレームワークを確立する。

関連論文リスト

• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Counterfactual Generation Under Confounding [24.503075567519048]
  機械学習モデルは、トレーニングデータにおける観察または観測されていない共同創設者の影響下で、素早い相関関係を学習することができる。 本稿では,画像中の任意の属性の値を変更し,観測された属性の集合を与えられた新しい画像を生成することを学習する対実生成法を提案する。 本手法は, 計算効率が高く, 実装も簡単で, 生成因子の多さや変数の整合性にも有効である。
  論文  参考訳（メタデータ） (2022-10-22T06:39:22Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。