論文の概要: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning and Representation Neutralization
- arxiv url: http://arxiv.org/abs/2210.14562v2
- Date: Thu, 30 May 2024 08:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-01 00:22:17.064613
- Title: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning and Representation Neutralization
- Title（参考訳）: FairCLIP:属性型学習と表現中立化に基づく社会的バイアス除去
- Authors: Junyang Wang, Yi Zhang, Jitao Sang,
- Abstract要約: 本稿では,CLIPに基づく画像検索における社会的バイアスを取り除くためにFairCLIPを提案する。
FairCLIPは、すべてのCLIPダウンストリームタスクに共通する表現の中立化を実現する。
- 参考スコア（独自算出の注目度）: 19.105267891045532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Vision-Language Pre-training (VLP) models like CLIP have gained popularity in recent years. However, many works found that the social biases hidden in CLIP easily manifest in downstream tasks, especially in image retrieval, which can have harmful effects on human society. In this work, we propose FairCLIP to eliminate the social bias in CLIP-based image retrieval without damaging the retrieval performance achieving the compatibility between the debiasing effect and the retrieval performance. FairCLIP is divided into two steps: Attribute Prototype Learning (APL) and Representation Neutralization (RN). In the first step, we extract the concepts needed for debiasing in CLIP. We use the query with learnable word vector prefixes as the extraction structure. In the second step, we first divide the attributes into target and bias attributes. By analysis, we find that both attributes have an impact on the bias. Therefore, we try to eliminate the bias by using Re-Representation Matrix (RRM) to achieve the neutralization of the representation. We compare the debiasing effect and retrieval performance with other methods, and experiments demonstrate that FairCLIP can achieve the best compatibility. Although FairCLIP is used to eliminate bias in image retrieval, it achieves the neutralization of the representation which is common to all CLIP downstream tasks. This means that FairCLIP can be applied as a general debiasing method for other fairness issues related to CLIP.
- Abstract（参考訳）: CLIPのようなVision-Language Pre-Training(VLP)モデルは近年人気を集めている。
しかし、CLIPに隠された社会的バイアスは、下流のタスク、特に画像検索において容易に現れ、人間の社会に有害な影響を及ぼす可能性がある。
本研究では,CLIPに基づく画像検索における社会的バイアスを解消するFairCLIPを提案する。
FairCLIPはAPL(Atribute Prototype Learning)とRN(Representation Neutralization)の2つのステップに分けられる。
最初のステップでは、CLIPのデバイアス化に必要な概念を抽出する。
学習可能な単語ベクトルプレフィックスを用いたクエリを抽出構造として使用する。
2番目のステップでは、まず属性をターゲット属性とバイアス属性に分割します。
分析により、どちらの属性もバイアスに影響を及ぼすことがわかった。
そこで,表現の中立化を実現するためにRe-Representation Matrix (RRM) を用いてバイアスを取り除く。
劣化効果と検索性能を他の手法と比較し,FairCLIPが最適な互換性を実現することを示す実験を行った。
FairCLIPは画像検索のバイアスを取り除くために使用されるが、すべてのCLIP下流タスクに共通する表現の中立化を実現する。
これは、FairCLIPがCLIPに関連する他のフェアネス問題に対する一般的なデバイアス法として適用可能であることを意味する。
関連論文リスト
- Refining Skewed Perceptions in Vision-Language Models through Visual Representations [0.033483662989441935]
大規模視覚言語モデル(VLM)は、様々な下流タスクで顕著な成功を収めている。
それらの利点にもかかわらず、これらのモデルは現実のデータの不均等な分布からバイアスを受け継ぎ、実際の環境に関する誤解を招く。
本研究では,CLIPの下流アプリケーションへの埋め込みから,単純な線形プローブを用いてタスク固有のコア特徴を効果的に抽出する方法について検討する。
論文 参考訳（メタデータ） (2024-05-22T22:03:11Z) - AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。
本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
論文 参考訳（メタデータ） (2024-04-13T10:46:11Z) - FairerCLIP: Debiasing CLIP's Zero-Shot Predictions using Functions in RKHSs [24.991684983495542]
本稿では,CLIPのゼロショット予測をより公平かつ堅牢に行うための一般手法であるFairerCLIPを提案する。
ヒルベルト核空間(RKHS)の再生において,CLIPのイメージとテキスト表現を両立させる問題を定式化する。
論文 参考訳（メタデータ） (2024-03-22T19:41:26Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳（メタデータ） (2022-10-17T17:57:46Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳（メタデータ） (2022-03-30T11:16:18Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳（メタデータ） (2021-12-02T09:23:01Z) - Making ML models fairer through explanations: the case of LimeOut [7.952582509792971]
アルゴリズムによる決定は今では日常的に使われており、複雑でバイアスのかかる機械学習(ML)プロセスに基づいている。
これは、偏見のある決定が個人や社会全体に与える影響を考えると、いくつかの懸念を提起する。
モデルフェアネスを改善するために,「フィーチャードロップアウト」というシンプルなアイデアと「アンサンブルアプローチ」を併用する方法について述べる。
論文 参考訳（メタデータ） (2020-11-01T19:07:11Z) - Pose-guided Visible Part Matching for Occluded Person ReID [80.81748252960843]
本稿では、ポーズ誘導による特徴の識別を共同で学習し、その部分の可視性を自己判断する Pose-Guided Visible Part Matching (PVPM) 法を提案する。
実験結果から,提案手法は最先端手法と競合する性能を示した。
論文 参考訳（メタデータ） (2020-04-01T04:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。