論文の概要: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning
and Representation Neutralization
- arxiv url: http://arxiv.org/abs/2210.14562v1
- Date: Wed, 26 Oct 2022 08:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 14:59:09.116001
- Title: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning
and Representation Neutralization
- Title(参考訳): FairCLIP:属性型学習と表現中立化に基づく社会的バイアス除去
- Authors: Junyang Wang, Yi Zhang and Jitao Sang
- Abstract要約: 本稿では,CLIPに基づく画像検索における社会的バイアスを取り除くためにFairCLIPを提案する。
FairCLIPは、すべてのCLIPダウンストリームタスクに共通する表現の中立化を実現する。
- 参考スコア(独自算出の注目度): 13.280828458515062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Vision-Language Pre-training (VLP) models like CLIP have gained
popularity in recent years. However, many works found that the social biases
hidden in CLIP easily manifest in downstream tasks, especially in image
retrieval, which can have harmful effects on human society. In this work, we
propose FairCLIP to eliminate the social bias in CLIP-based image retrieval
without damaging the retrieval performance achieving the compatibility between
the debiasing effect and the retrieval performance. FairCLIP is divided into
two steps: Attribute Prototype Learning (APL) and Representation Neutralization
(RN). In the first step, we extract the concepts needed for debiasing in CLIP.
We use the query with learnable word vector prefixes as the extraction
structure. In the second step, we first divide the attributes into target and
bias attributes. By analysis, we find that both attributes have an impact on
the bias. Therefore, we try to eliminate the bias by using Re-Representation
Matrix (RRM) to achieve the neutralization of the representation. We compare
the debiasing effect and retrieval performance with other methods, and
experiments demonstrate that FairCLIP can achieve the best compatibility.
Although FairCLIP is used to eliminate bias in image retrieval, it achieves the
neutralization of the representation which is common to all CLIP downstream
tasks. This means that FairCLIP can be applied as a general debiasing method
for other fairness issues related to CLIP.
- Abstract(参考訳): CLIPのようなVision-Language Pre-Training(VLP)モデルは近年人気を集めている。
しかし、CLIPに隠された社会的バイアスは、下流のタスク、特に画像検索において容易に現れ、人間の社会に有害な影響を及ぼす可能性がある。
そこで本研究では,クリップベース画像検索における社会的バイアスを解消するために,デバイアス効果と検索性能との互換性を実現する検索性能を損なうことなく,fairclipを提案する。
FairCLIPはAPL(Atribute Prototype Learning)とRN(Representation Neutralization)の2つのステップに分けられる。
最初のステップでは、CLIPのデバイアス化に必要な概念を抽出する。
学習可能な単語ベクトルプレフィックスを用いた問合せを抽出構造として用いる。
第2のステップでは、まず属性をターゲット属性とバイアス属性に分割します。
分析により、両方の属性がバイアスに影響を与えることがわかった。
そこで,表現の中立化を実現するためにRe-Representation Matrix (RRM) を用いてバイアスを取り除く。
劣化効果と検索性能を他の手法と比較し,FairCLIPが最適な互換性を実現することを示す実験を行った。
FairCLIPは画像検索のバイアスを取り除くために使用されるが、すべてのCLIP下流タスクに共通する表現の中立化を実現する。
これは、FairCLIPがCLIPに関連する他のフェアネス問題に対する一般的なデバイアス法として適用可能であることを意味する。
関連論文リスト
- Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。
SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
論文 参考訳(メタデータ) (2024-11-24T15:14:05Z) - ReCLIP++: Learn to Rectify the Bias of CLIP for Unsupervised Semantic Segmentation [6.012828781329036]
教師なしセマンティックセグメンテーション作業を容易にするために,CLIP に存在するバイアスを明示的にモデル化し,修正することを提案する。
学習可能な'参照'プロンプトを用いて、クラス参照バイアスを符号化し、視覚変換器に位置埋め込みを投影し、空間参照バイアスを符号化する。
バイアスモデリング及び修正プロセスを有意義かつ効果的にするために、マスキングされた視覚特徴と異なるクラスのテキスト特徴とに基づく対照的な損失を課す。
論文 参考訳(メタデータ) (2024-08-13T09:10:48Z) - AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。
本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
論文 参考訳(メタデータ) (2024-04-13T10:46:11Z) - FairerCLIP: Debiasing CLIP's Zero-Shot Predictions using Functions in RKHSs [24.991684983495542]
本稿では,CLIPのゼロショット予測をより公平かつ堅牢に行うための一般手法であるFairerCLIPを提案する。
ヒルベルト核空間(RKHS)の再生において,CLIPのイメージとテキスト表現を両立させる問題を定式化する。
論文 参考訳(メタデータ) (2024-03-22T19:41:26Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳(メタデータ) (2024-03-10T09:46:28Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳(メタデータ) (2022-03-30T11:16:18Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳(メタデータ) (2021-12-02T09:23:01Z) - Pose-guided Visible Part Matching for Occluded Person ReID [80.81748252960843]
本稿では、ポーズ誘導による特徴の識別を共同で学習し、その部分の可視性を自己判断する Pose-Guided Visible Part Matching (PVPM) 法を提案する。
実験結果から,提案手法は最先端手法と競合する性能を示した。
論文 参考訳(メタデータ) (2020-04-01T04:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。