論文の概要: Leveraging CLIP for Inferring Sensitive Information and Improving Model Fairness

• arxiv url: http://arxiv.org/abs/2403.10624v1
• Date: Fri, 15 Mar 2024 18:37:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:34:14.731326
• Title: Leveraging CLIP for Inferring Sensitive Information and Improving Model Fairness
• Title（参考訳）: 感性情報推論のためのCLIPの活用とモデルフェアネスの向上
• Authors: Miao Zhang, Rumi Chunara,
• Abstract要約: サブ人口間の性能格差は、ディープラーニングに基づく視覚認識モデルに存在することが知られている。 これまでの研究は、センシティブな属性ラベルの知識を前提として、このような公平性に関する懸念に対処してきた。 感性のある属性ラベルを必要としない新しいパラダイムを探求し、視覚言語モデルであるCLIPを活用することにより、余分なトレーニングの必要性を回避する。
• 参考スコア（独自算出の注目度）: 19.93324644519412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance disparities across sub-populations are known to exist in deep learning-based vision recognition models, but previous work has largely addressed such fairness concerns assuming knowledge of sensitive attribute labels. To overcome this reliance, previous strategies have involved separate learning structures to expose and adjust for disparities. In this work, we explore a new paradigm that does not require sensitive attribute labels, and evades the need for extra training by leveraging the vision-language model, CLIP, as a rich knowledge source to infer sensitive information. We present sample clustering based on similarity derived from image and attribute-specified language embeddings and assess their correspondence to true attribute distribution. We train a target model by re-sampling and augmenting under-performed clusters. Extensive experiments on multiple benchmark bias datasets show clear fairness gains of the model over existing baselines, which indicate that CLIP can extract discriminative sensitive information prompted by language, and used to promote model fairness.
• Abstract（参考訳）: サブ人口間の性能格差は、ディープラーニングに基づく視覚認識モデルに存在することが知られているが、従来の研究は、センシティブな属性ラベルの知識を前提として、このような公平性の懸念に対処してきた。 この依存を克服するため、従来の戦略では、格差を露呈し、調整するための個別の学習構造が含まれていた。 本研究では,機密情報を推論するための豊富な知識源として視覚言語モデルであるCLIPを活用することにより,機密属性ラベルを必要としない新たなパラダイムを探求し,余分なトレーニングの必要性を回避する。 画像および属性特定言語埋め込みから得られた類似性に基づいてサンプルクラスタリングを行い,それらの属性分布に対する対応性を評価する。 我々は、性能の低いクラスタを再サンプリングし、拡張することでターゲットモデルを訓練する。 複数のベンチマークバイアスデータセットに対する大規模な実験は、既存のベースラインよりもモデルの公正性を高めることを示し、CLIPが言語によって引き起こされる差別的センシティブな情報を抽出し、モデルの公正性を促進できることを示している。

関連論文リスト

• High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning [54.86882315023791]
  一般化ゼロショット学習(HDAFL)のための高識別属性特徴学習(High-Discriminative Attribute Feature Learning)という革新的な手法を提案する。 HDAFLは複数の畳み込みカーネルを使用して、画像の属性と高い相関性を持つ識別領域を自動的に学習する。 また、属性間の識別能力を高めるために、Transformerベースの属性識別エンコーダを導入する。
  論文  参考訳（メタデータ） (2024-04-07T13:17:47Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Achieve Fairness without Demographics for Dermatological Disease Diagnosis [17.792332189055223]
  そこで本研究では,テストフェーズにおいて,そのような情報を用いることなく,感度特性の公平な予測を可能にする手法を提案する。 特徴の絡み合いが公正性に与える影響を強調した先行研究から着想を得て,重要属性や対象属性に関連する特徴を捉えることにより,モデルの特徴を高める。 これにより、機密属性に関連する機能に頼ることなく、モデルがターゲット属性に関連する機能に基づいてのみ分類できることが保証される。
  論文  参考訳（メタデータ） (2024-01-16T02:49:52Z)
• Vision-language Assisted Attribute Learning [53.60196963381315]
  大規模な属性ラベリングは通常不完全で部分的である。 既存の属性学習手法は、欠落したラベルを否定的な扱いをすることが多い。 利用可能な視覚言語知識を活用して、モデル学習の強化に欠落しているラベルを明確に明らかにする。
  論文  参考訳（メタデータ） (2023-12-12T06:45:19Z)
• Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
  公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。 モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある 本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:51:10Z)
• Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning [52.506434446439776]
  合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。 このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。 提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
  論文  参考訳（メタデータ） (2023-08-08T03:24:21Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder [92.67156911466397]
  逆変分オートエンコーダに基づく半教師付き公正表現学習手法を提案する。 我々は、バイアス認識モデルを用いて、機密属性の固有バイアス情報をキャプチャする。 また、偏見のないモデルを用いて、対立学習を用いて偏見情報を取り除き、偏見のない公正表現を学習する。
  論文  参考訳（メタデータ） (2022-04-01T15:57:47Z)
• Fairness-Aware Learning with Prejudice Free Representations [2.398608007786179]
  本稿では,潜在性識別特徴を効果的に識別し,治療できる新しいアルゴリズムを提案する。 このアプローチは、モデルパフォーマンスを改善するために差別のない機能を集めるのに役立つ。
  論文  参考訳（メタデータ） (2020-02-26T10:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。