論文の概要: Evaluating the Fairness of Discriminative Foundation Models in Computer Vision

• arxiv url: http://arxiv.org/abs/2310.11867v1
• Date: Wed, 18 Oct 2023 10:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 16:56:01.248040
• Title: Evaluating the Fairness of Discriminative Foundation Models in Computer Vision
• Title（参考訳）: コンピュータビジョンにおける判別基礎モデルの公平性の評価
• Authors: Junaid Ali, Matthaeus Kleindessner, Florian Wenzel, Kailash Budhathoki, Volkan Cevher and Chris Russell
• Abstract要約: 本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
• 参考スコア（独自算出の注目度）: 51.176061115977774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel taxonomy for bias evaluation of discriminative foundation models, such as Contrastive Language-Pretraining (CLIP), that are used for labeling tasks. We then systematically evaluate existing methods for mitigating bias in these models with respect to our taxonomy. Specifically, we evaluate OpenAI's CLIP and OpenCLIP models for key applications, such as zero-shot classification, image retrieval and image captioning. We categorize desired behaviors based around three axes: (i) if the task concerns humans; (ii) how subjective the task is (i.e., how likely it is that people from a diverse range of backgrounds would agree on a labeling); and (iii) the intended purpose of the task and if fairness is better served by impartiality (i.e., making decisions independent of the protected attributes) or representation (i.e., making decisions to maximize diversity). Finally, we provide quantitative fairness evaluations for both binary-valued and multi-valued protected attributes over ten diverse datasets. We find that fair PCA, a post-processing method for fair representations, works very well for debiasing in most of the aforementioned tasks while incurring only minor loss of performance. However, different debiasing approaches vary in their effectiveness depending on the task. Hence, one should choose the debiasing approach depending on the specific use case.
• Abstract（参考訳）: 本稿では,ラベル付け作業に使用されるCLIP (Contrastive Language-Pretraining) などの差別的基礎モデルのバイアス評価のための新しい分類法を提案する。 そして,これらのモデルにおける偏りを緩和するための既存の手法を体系的に評価した。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。 3つの軸に基づいた望ましい行動の分類を行う。 (i) タスクが人間に関するものである場合 (ii)課題がどの程度主観的であるか(すなわち、さまざまな背景の人々がラベル付けに同意する可能性が高いか) 三 課題の意図的目的及び公正性が公平性(保護された属性から独立して決定すること)又は表現(多様性を最大化する決定を行うこと)によりより良く機能すること。 最後に,10種類のデータセットに対して二値および多値保護属性の定量的公正度評価を行う。 フェア表現のためのポストプロセッシング手法であるfair pcaは、上記のタスクのほとんどをデバイアスするのに非常によく機能し、パフォーマンスの小さな損失しか発生しない。 しかし、異なるデバイアスアプローチは、タスクによってその効果が異なる。 したがって、特定のユースケースに応じてデバイアスアプローチを選択するべきである。

関連論文リスト

• Understanding trade-offs in classifier bias with quality-diversity optimization: an application to talent management [2.334978724544296]
  公正なAIモデルを開発する上での大きな課題は、そのようなモデルをトレーニングする上で利用可能なデータのバイアスにある。 本稿では,データセットに固有のバイアスを可視化し,公平性と正確性の間の潜在的なトレードオフを理解する方法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T22:14:02Z)
• Identifying Reasons for Bias: An Argumentation-Based Approach [2.9465623430708905]
  そこで本研究では, 類似した個人と比較して, 個人が別々に分類される理由を決定するための, モデルに依存しない議論に基づく新しい手法を提案する。 フェアネス文献でよく用いられる2つのデータセットを用いて本手法の評価を行い,バイアスの同定に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-25T09:47:15Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• A Differentiable Distance Approximation for Fairer Image Classification [31.471917430653626]
  我々は,AIモデルにおいて,偏りや不公平さを測定するために使用できる指標である,人口統計の分散の微分可能な近似を提案する。 我々の近似は、トレーニング中に余分なモデルを必要としない通常のトレーニング目標と共に最適化できる。 提案手法は,タスクやデータセットのさまざまなシナリオにおけるAIモデルの公平性を改善する。
  論文  参考訳（メタデータ） (2022-10-09T23:02:18Z)
• Fair Tree Learning [0.15229257192293202]
  様々な最適化基準は、分類性能と公正度を組み合わせている。 現在の公正決定木法は、分類タスクと公正度測定の両方において、一定の閾値を最適化するのみである。 そこで本研究では,一様人口分布パリティと呼ばれるしきい値非依存の公平度尺度と,SCAFF – Splitting Criterion AUC for Fairnessと題する分割基準を提案する。
  論文  参考訳（メタデータ） (2021-10-18T13:40:25Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• A survey of bias in Machine Learning through the prism of Statistical Parity for the Adult Data Set [5.277804553312449]
  偏見を自動決定にどのように導入できるかを理解することの重要性を示す。 まず、公正学習問題、特に二項分類設定における数学的枠組みについて述べる。 そこで,本研究では,現実およびよく知られた成人所得データセットの標準差分効果指標を用いて,偏見の有無を定量化することを提案する。
  論文  参考訳（メタデータ） (2020-03-31T14:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。