論文の概要: Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2406.05686v1
• Date: Sun, 9 Jun 2024 08:11:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 18:36:48.503066
• Title: Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning
• Title（参考訳）: 公正な自己教師型コントラスト学習のための確率的最適化
• Authors: Qi Qi, Quanqi Hu, Qihang Lin, Tianbao Yang,
• Abstract要約: 本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
• 参考スコア（独自算出の注目度）: 49.417414031031264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies learning fair encoders in a self-supervised learning (SSL) setting, in which all data are unlabeled and only a small portion of them are annotated with sensitive attribute. Adversarial fair representation learning is well suited for this scenario by minimizing a contrastive loss over unlabeled data while maximizing an adversarial loss of predicting the sensitive attribute over the data with sensitive attribute. Nevertheless, optimizing adversarial fair representation learning presents significant challenges due to solving a non-convex non-concave minimax game. The complexity deepens when incorporating a global contrastive loss that contrasts each anchor data point against all other examples. A central question is ``{\it can we design a provable yet efficient algorithm for solving adversarial fair self-supervised contrastive learning}?'' Building on advanced optimization techniques, we propose a stochastic algorithm dubbed SoFCLR with a convergence analysis under reasonable conditions without requring a large batch size. We conduct extensive experiments to demonstrate the effectiveness of the proposed approach for downstream classification with eight fairness notions.
• Abstract（参考訳）: 本稿では,自己教師付き学習(SSL)環境におけるフェアエンコーダの学習について検討する。 このシナリオには、ラベルのないデータに対するコントラスト損失を最小限に抑えつつ、機密属性を持つデータに対するセンシティブ属性予測の逆損失を最大化することにより、敵対的公正表現学習が適している。 それにもかかわらず、対向的公正表現学習の最適化は、非凸なミニマックスゲームを解決するために重要な課題を提示する。 この複雑さは、各アンカーデータポイントと他のすべての例とを対比する、グローバルなコントラスト損失を組み込むことで、より深くなります。 先進的な最適化手法をベースとして,大規模なバッチサイズを伴わずに,妥当な条件下で収束解析を行う確率論的アルゴリズムSoFCLRを提案する。 本研究では,8つのフェアネス概念を用いた下流分類における提案手法の有効性を示すため,広範囲な実験を行った。

関連論文リスト

• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Fairness Without Harm: An Influence-Guided Active Sampling Approach [32.173195437797766]
  我々は、モデルの精度に害を与えることなく、グループフェアネスの格差を軽減するモデルを訓練することを目指している。 公正なアクティブな学習アプローチのような現在のデータ取得方法は、通常、アノテートセンシティブな属性を必要とする。 トレーニンググループアノテーションに依存しない抽出可能なアクティブデータサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-20T07:57:38Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Active Learning in the Predict-then-Optimize Framework: A Margin-Based Approach [5.371816551086118]
  本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。 我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
  論文  参考訳（メタデータ） (2023-05-11T05:44:36Z)
• Fair and Optimal Classification via Post-Processing [10.163721748735801]
  本稿では、分類問題における人口統計学の特質的トレードオフの完全な評価について述べる。 ランダム化および属性認識フェア分類器によって達成可能な最小誤差率は、ワッサーシュタイン・バリセンタ問題の最適値によって与えられることを示す。
  論文  参考訳（メタデータ） (2022-11-03T00:04:04Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning [11.206758778146288]
  決定システムに対する最適な敵攻撃を設計する理論的問題を考察する。 興味の離散的かつ連続的な信号に対する最適な敵攻撃の導出について述べる。 入力信号の重複コピーが複数用意されている場合、相互情報の最小化のために敵攻撃を行うのは非常に困難であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T07:45:25Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。