論文の概要: Learning Fair Representation via Distributional Contrastive Disentanglement

• arxiv url: http://arxiv.org/abs/2206.08743v1
• Date: Fri, 17 Jun 2022 12:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 21:02:42.166182
• Title: Learning Fair Representation via Distributional Contrastive Disentanglement
• Title（参考訳）: 分布的コントラスト的絡み合いによる公正表現の学習
• Authors: Changdae Oh, Heeji Won, Junhyuk So, Taero Kim, Yewon Kim, Hosik Choi, Kyungwoo Song
• Abstract要約: 公正な表現を学ぶことは、公平性を達成するか、センシティブな情報を悪用するために不可欠である。 本稿では,FarconVAE(Contrastive Variational AutoEncoder)を用いたFAir表現学習手法を提案する。 フェアネス、事前訓練されたモデルデバイアス、および様々なモダリティからの領域一般化タスクにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 9.577369164287813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning fair representation is crucial for achieving fairness or debiasing sensitive information. Most existing works rely on adversarial representation learning to inject some invariance into representation. However, adversarial learning methods are known to suffer from relatively unstable training, and this might harm the balance between fairness and predictiveness of representation. We propose a new approach, learning FAir Representation via distributional CONtrastive Variational AutoEncoder (FarconVAE), which induces the latent space to be disentangled into sensitive and nonsensitive parts. We first construct the pair of observations with different sensitive attributes but with the same labels. Then, FarconVAE enforces each non-sensitive latent to be closer, while sensitive latents to be far from each other and also far from the non-sensitive latent by contrasting their distributions. We provide a new type of contrastive loss motivated by Gaussian and Student-t kernels for distributional contrastive learning with theoretical analysis. Besides, we adopt a new swap-reconstruction loss to boost the disentanglement further. FarconVAE shows superior performance on fairness, pretrained model debiasing, and domain generalization tasks from various modalities, including tabular, image, and text.
• Abstract（参考訳）: 公平な表現を学ぶことは、公平性を達成するか、機密情報を偏らせるために不可欠である。 既存の研究の多くは、ある不変性を表現に注入する逆表現学習に依存している。 しかし、敵対的学習法は比較的不安定な訓練に苦しむことが知られており、これは表現の公平性と予測性のバランスを損なう可能性がある。 本稿では,分布型コントラスト変分オートエンコーダ (farconvae) による公平表現を学習する新しい手法を提案する。 まず、異なる感度の属性を持つが、同じラベルを持つ観測ペアを構築します。 すると、FarconVAEは各非感受性潜水剤を近接させ、感度潜水剤は互いに遠く、またその分布を対比することで非感受性潜水剤から遠ざかる。 分布的コントラスト学習と理論解析のためのgaussian および student-t カーネルにより動機づけられた新しいタイプのコントラスト損失を提案する。 さらに,新たなスワップリコンストラクションロスを導入して,さらに絡み合いを高めた。 FarconVAEは、公正性、事前訓練されたモデルデバイアス、および表、画像、テキストを含む様々なモードからのドメイン一般化タスクにおいて優れたパフォーマンスを示す。

関連論文リスト

• Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
  Visual Foundation Models (VFM) は、弱い教師付きピクセル対ポイントのコントラスト蒸留のためのセマンティックラベルを生成するために使用される。 我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。 我々の手法は、下流タスクにおける既存の画像からLiDARへのコントラスト蒸留法を一貫して超越している。
  論文  参考訳（メタデータ） (2024-05-23T07:48:19Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Fairness Explainability using Optimal Transport with Applications in Image Classification [0.46040036610482665]
  機械学習アプリケーションにおける差別の原因を明らかにするための包括的アプローチを提案する。 We leverage Wasserstein barycenters to achieve fair predictions and introduce an extension to pinpoint bias-associated region。 これにより、各特徴がバイアスに影響を及ぼすかどうかを測定するために強制的公正性を使用する凝集系を導出することができる。
  論文  参考訳（メタデータ） (2023-08-22T00:10:23Z)
• Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
  公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。 本稿では,教師付きコントラスト学習による不公平性を初めて分析する。 提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
  論文  参考訳（メタデータ） (2022-03-30T11:16:18Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Adversarial Stacked Auto-Encoders for Fair Representation Learning [1.061960673667643]
  そこで本稿では,データ表現のさまざまなレベルを活用して,学習した表現の公平性境界を厳格化するための,新しい公正表現学習手法を提案する。 その結果、異なる自動エンコーダを積み重ね、異なる潜在空間でフェアネスを強制すると、他の既存手法と比較してフェアネスが向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-27T13:49:18Z)
• FairMixRep : Self-supervised Robust Representation Learning for Heterogeneous Data with Fairness constraints [1.1661238776379117]
  我々は、教師なしの観点から、混合スペースフェア表現学習の課題に対処する。 我々は、タイムリーで独特な普遍的な表現と、新しい研究貢献を学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T07:23:02Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。