論文の概要: Leveraging CLIP for Inferring Sensitive Information and Improving Model Fairness
- arxiv url: http://arxiv.org/abs/2403.10624v1
- Date: Fri, 15 Mar 2024 18:37:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 22:34:14.731326
- Title: Leveraging CLIP for Inferring Sensitive Information and Improving Model Fairness
- Title(参考訳): 感性情報推論のためのCLIPの活用とモデルフェアネスの向上
- Authors: Miao Zhang, Rumi Chunara,
- Abstract要約: サブ人口間の性能格差は、ディープラーニングに基づく視覚認識モデルに存在することが知られている。
これまでの研究は、センシティブな属性ラベルの知識を前提として、このような公平性に関する懸念に対処してきた。
感性のある属性ラベルを必要としない新しいパラダイムを探求し、視覚言語モデルであるCLIPを活用することにより、余分なトレーニングの必要性を回避する。
- 参考スコア(独自算出の注目度): 19.93324644519412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance disparities across sub-populations are known to exist in deep learning-based vision recognition models, but previous work has largely addressed such fairness concerns assuming knowledge of sensitive attribute labels. To overcome this reliance, previous strategies have involved separate learning structures to expose and adjust for disparities. In this work, we explore a new paradigm that does not require sensitive attribute labels, and evades the need for extra training by leveraging the vision-language model, CLIP, as a rich knowledge source to infer sensitive information. We present sample clustering based on similarity derived from image and attribute-specified language embeddings and assess their correspondence to true attribute distribution. We train a target model by re-sampling and augmenting under-performed clusters. Extensive experiments on multiple benchmark bias datasets show clear fairness gains of the model over existing baselines, which indicate that CLIP can extract discriminative sensitive information prompted by language, and used to promote model fairness.
- Abstract(参考訳): サブ人口間の性能格差は、ディープラーニングに基づく視覚認識モデルに存在することが知られているが、従来の研究は、センシティブな属性ラベルの知識を前提として、このような公平性の懸念に対処してきた。
この依存を克服するため、従来の戦略では、格差を露呈し、調整するための個別の学習構造が含まれていた。
本研究では,機密情報を推論するための豊富な知識源として視覚言語モデルであるCLIPを活用することにより,機密属性ラベルを必要としない新たなパラダイムを探求し,余分なトレーニングの必要性を回避する。
画像および属性特定言語埋め込みから得られた類似性に基づいてサンプルクラスタリングを行い,それらの属性分布に対する対応性を評価する。
我々は、性能の低いクラスタを再サンプリングし、拡張することでターゲットモデルを訓練する。
複数のベンチマークバイアスデータセットに対する大規模な実験は、既存のベースラインよりもモデルの公正性を高めることを示し、CLIPが言語によって引き起こされる差別的センシティブな情報を抽出し、モデルの公正性を促進できることを示している。
関連論文リスト
- CREST: Cross-modal Resonance through Evidential Deep Learning for Enhanced Zero-Shot Learning [48.46511584490582]
ゼロショット学習(ZSL)は、既知のカテゴリから未知のカテゴリへのセマンティックな知識伝達を活用することで、新しいクラスの認識を可能にする。
分布不均衡や属性共起といった現実世界の課題は、画像の局所的なばらつきの識別を妨げる。
これらの課題を克服するために、双方向のクロスモーダルZSLアプローチCRESTを提案する。
論文 参考訳(メタデータ) (2024-04-15T10:19:39Z) - High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning [54.86882315023791]
一般化ゼロショット学習(HDAFL)のための高識別属性特徴学習(High-Discriminative Attribute Feature Learning)という革新的な手法を提案する。
HDAFLは複数の畳み込みカーネルを使用して、画像の属性と高い相関性を持つ識別領域を自動的に学習する。
また、属性間の識別能力を高めるために、Transformerベースの属性識別エンコーダを導入する。
論文 参考訳(メタデータ) (2024-04-07T13:17:47Z) - Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Diagnosing and Rectifying Vision Models using Language [31.588965563961573]
最近のコントラスト学習モデルは、強力な視覚分類器を構築するのに適した埋め込み空間を学習できることを実証している。
我々の研究は、このマルチモーダル埋め込み空間の明確な利点として、自然言語で視覚分類器を診断する能力を挙げている。
提案手法は,ハイエラーデータスライスを発見し,重要な属性を同定し,さらに好ましくないモデルの振る舞いを補正する。
論文 参考訳(メタデータ) (2023-02-08T18:59:42Z) - Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution
Detection [0.0]
教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。
本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-06T07:21:03Z) - DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。
画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。
DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
論文 参考訳(メタデータ) (2022-07-04T11:12:12Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Semi-FairVAE: Semi-supervised Fair Representation Learning with
Adversarial Variational Autoencoder [92.67156911466397]
逆変分オートエンコーダに基づく半教師付き公正表現学習手法を提案する。
我々は、バイアス認識モデルを用いて、機密属性の固有バイアス情報をキャプチャする。
また、偏見のないモデルを用いて、対立学習を用いて偏見情報を取り除き、偏見のない公正表現を学習する。
論文 参考訳(メタデータ) (2022-04-01T15:57:47Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2021-06-20T17:34:55Z) - Fairness by Explicability and Adversarial SHAP Learning [0.0]
本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。
逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。
合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
論文 参考訳(メタデータ) (2020-03-11T14:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。