論文の概要: Using Self-supervised Learning Can Improve Model Fairness
- arxiv url: http://arxiv.org/abs/2406.02361v1
- Date: Tue, 4 Jun 2024 14:38:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 15:50:54.775446
- Title: Using Self-supervised Learning Can Improve Model Fairness
- Title（参考訳）: 自己教師型学習はモデルフェアネスを改善する
- Authors: Sofia Yfantidou, Dimitris Spathis, Marios Constantinides, Athena Vakali, Daniele Quercia, Fahim Kawsar,
- Abstract要約: 自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。
本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
- 参考スコア（独自算出の注目度）: 10.028637666224093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) has become the de facto training paradigm of large models, where pre-training is followed by supervised fine-tuning using domain-specific data and labels. Despite demonstrating comparable performance with supervised methods, comprehensive efforts to assess SSL's impact on machine learning fairness (i.e., performing equally on different demographic breakdowns) are lacking. Hypothesizing that SSL models would learn more generic, hence less biased representations, this study explores the impact of pre-training and fine-tuning strategies on fairness. We introduce a fairness assessment framework for SSL, comprising five stages: defining dataset requirements, pre-training, fine-tuning with gradual unfreezing, assessing representation similarity conditioned on demographics, and establishing domain-specific evaluation processes. We evaluate our method's generalizability on three real-world human-centric datasets (i.e., MIMIC, MESA, and GLOBEM) by systematically comparing hundreds of SSL and fine-tuned models on various dimensions spanning from the intermediate representations to appropriate evaluation metrics. Our findings demonstrate that SSL can significantly improve model fairness, while maintaining performance on par with supervised methods-exhibiting up to a 30% increase in fairness with minimal loss in performance through self-supervision. We posit that such differences can be attributed to representation dissimilarities found between the best- and the worst-performing demographics across models-up to x13 greater for protected attributes with larger performance discrepancies between segments.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、大規模モデルのデファクトトレーニングパラダイムとなり、ドメイン固有のデータとラベルを使用して教師付き微調整が行われる。
教師付きメソッドと同等のパフォーマンスを示すにもかかわらず、SSLが機械学習の公平性(すなわち、異なる人口統計のブレークダウンで同等に実行する)に与える影響を評価する包括的な努力は欠如している。
SSLモデルはより汎用的でバイアスの少ない表現を学習すると仮定し、事前学習と微調整の戦略が公正性に与える影響について検討する。
SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的条件による表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
実世界の3つの人間中心データセット(MIMIC, MESA, GLOBEM)における本手法の一般化可能性を評価する。
以上の結果から,SSLは教師付き手法と同等の性能を維持しつつ,自己監督による性能低下を最小限に抑えながら,モデルフェアネスを著しく向上させることができることが示唆された。
このような違いは、セグメント間のパフォーマンスの相違が大きい保護属性に対して、モデル全体にわたる最高の層と最悪のパフォーマンスを示す層の間で見いだされる表現の相違に起因する可能性があると仮定する。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳（メタデータ） (2024-02-22T20:36:24Z) - Evaluating Fairness in Self-supervised and Supervised Models for
Sequential Data [10.626503137418636]
自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。
本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2024-01-03T09:31:43Z) - Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。
類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。
我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
論文 参考訳（メタデータ） (2023-06-28T11:47:08Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳（メタデータ） (2022-07-22T03:49:50Z) - Self-Supervision Can Be a Good Few-Shot Learner [42.06243069679068]
本稿では,自己監督による学習表現を効果的に非教師なしの少数ショット学習法を提案する。
具体的には、低バイアスMI推定器を用いて、インスタンスとそれらの表現の相互情報(MI)を最大化する。
自己指導型事前訓練は,適切な条件下で指導型事前訓練より優れることを示す。
論文 参考訳（メタデータ） (2022-07-19T10:23:40Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳（メタデータ） (2022-06-17T16:18:28Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z) - A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained
Classification [38.68079253627819]
本ベンチマークは, avesおよびfungi分類のクラスをサンプリングして得られた2つの細粒度分類データセットからなる。
最近提案されたSSLメソッドは大きなメリットをもたらし、深いネットワークがゼロから訓練されたときにクラス外のデータを効果的にパフォーマンスを向上させることができます。
我々の研究は、現実的データセットの専門家による半教師付き学習は、現在文学で普及しているものとは異なる戦略を必要とする可能性があることを示唆している。
論文 参考訳（メタデータ） (2021-04-01T17:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。