論文の概要: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning
and Representation Neutralization
- arxiv url: http://arxiv.org/abs/2210.14562v1
- Date: Wed, 26 Oct 2022 08:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 14:59:09.116001
- Title: FairCLIP: Social Bias Elimination based on Attribute Prototype Learning
and Representation Neutralization
- Title(参考訳): FairCLIP:属性型学習と表現中立化に基づく社会的バイアス除去
- Authors: Junyang Wang, Yi Zhang and Jitao Sang
- Abstract要約: 本稿では,CLIPに基づく画像検索における社会的バイアスを取り除くためにFairCLIPを提案する。
FairCLIPは、すべてのCLIPダウンストリームタスクに共通する表現の中立化を実現する。
- 参考スコア(独自算出の注目度): 13.280828458515062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Vision-Language Pre-training (VLP) models like CLIP have gained
popularity in recent years. However, many works found that the social biases
hidden in CLIP easily manifest in downstream tasks, especially in image
retrieval, which can have harmful effects on human society. In this work, we
propose FairCLIP to eliminate the social bias in CLIP-based image retrieval
without damaging the retrieval performance achieving the compatibility between
the debiasing effect and the retrieval performance. FairCLIP is divided into
two steps: Attribute Prototype Learning (APL) and Representation Neutralization
(RN). In the first step, we extract the concepts needed for debiasing in CLIP.
We use the query with learnable word vector prefixes as the extraction
structure. In the second step, we first divide the attributes into target and
bias attributes. By analysis, we find that both attributes have an impact on
the bias. Therefore, we try to eliminate the bias by using Re-Representation
Matrix (RRM) to achieve the neutralization of the representation. We compare
the debiasing effect and retrieval performance with other methods, and
experiments demonstrate that FairCLIP can achieve the best compatibility.
Although FairCLIP is used to eliminate bias in image retrieval, it achieves the
neutralization of the representation which is common to all CLIP downstream
tasks. This means that FairCLIP can be applied as a general debiasing method
for other fairness issues related to CLIP.
- Abstract(参考訳): CLIPのようなVision-Language Pre-Training(VLP)モデルは近年人気を集めている。
しかし、CLIPに隠された社会的バイアスは、下流のタスク、特に画像検索において容易に現れ、人間の社会に有害な影響を及ぼす可能性がある。
そこで本研究では,クリップベース画像検索における社会的バイアスを解消するために,デバイアス効果と検索性能との互換性を実現する検索性能を損なうことなく,fairclipを提案する。
FairCLIPはAPL(Atribute Prototype Learning)とRN(Representation Neutralization)の2つのステップに分けられる。
最初のステップでは、CLIPのデバイアス化に必要な概念を抽出する。
学習可能な単語ベクトルプレフィックスを用いた問合せを抽出構造として用いる。
第2のステップでは、まず属性をターゲット属性とバイアス属性に分割します。
分析により、両方の属性がバイアスに影響を与えることがわかった。
そこで,表現の中立化を実現するためにRe-Representation Matrix (RRM) を用いてバイアスを取り除く。
劣化効果と検索性能を他の手法と比較し,FairCLIPが最適な互換性を実現することを示す実験を行った。
FairCLIPは画像検索のバイアスを取り除くために使用されるが、すべてのCLIP下流タスクに共通する表現の中立化を実現する。
これは、FairCLIPがCLIPに関連する他のフェアネス問題に対する一般的なデバイアス法として適用可能であることを意味する。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳(メタデータ) (2024-03-10T09:46:28Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳(メタデータ) (2022-09-28T04:36:34Z) - ProtoCLIP: Prototypical Contrastive Language Image Pretraining [12.067061175987075]
このようなグループ化を強化するために,プロトタイプコントラスト言語画像事前学習(ProtoCLIP)を導入している。
ProtoCLIPは、画像空間とテキスト空間の間のプロトタイプレベルの識別を設定し、高いレベルの構造的知識を効率的に伝達する。
ProtoCLIPはオンラインのエピソードトレーニング戦略でトレーニングされており、無制限のデータまでスケールアップすることができる。
論文 参考訳(メタデータ) (2022-06-22T11:55:53Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳(メタデータ) (2022-03-30T11:16:18Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳(メタデータ) (2021-12-02T09:23:01Z) - Making ML models fairer through explanations: the case of LimeOut [7.952582509792971]
アルゴリズムによる決定は今では日常的に使われており、複雑でバイアスのかかる機械学習(ML)プロセスに基づいている。
これは、偏見のある決定が個人や社会全体に与える影響を考えると、いくつかの懸念を提起する。
モデルフェアネスを改善するために,「フィーチャードロップアウト」というシンプルなアイデアと「アンサンブルアプローチ」を併用する方法について述べる。
論文 参考訳(メタデータ) (2020-11-01T19:07:11Z) - Pose-guided Visible Part Matching for Occluded Person ReID [80.81748252960843]
本稿では、ポーズ誘導による特徴の識別を共同で学習し、その部分の可視性を自己判断する Pose-Guided Visible Part Matching (PVPM) 法を提案する。
実験結果から,提案手法は最先端手法と競合する性能を示した。
論文 参考訳(メタデータ) (2020-04-01T04:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。