論文の概要: Evaluating the fairness of fine-tuning strategies in self-supervised
learning
- arxiv url: http://arxiv.org/abs/2110.00538v1
- Date: Fri, 1 Oct 2021 17:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:30:38.716238
- Title: Evaluating the fairness of fine-tuning strategies in self-supervised
learning
- Title(参考訳): 自己指導型学習における微調整戦略の公平性の評価
- Authors: Jason Ramapuram, Dan Busbridge, Russ Webb
- Abstract要約: 事前訓練されたSSLバックボーンのBN統計のみの更新は、下流の公平性を改善する(36%最悪のサブグループ、25%平均サブグループギャップ)。
この手順は教師あり学習と競合するが、訓練に4.4倍の時間を要し、更新されるパラメータの0.35%しか必要としない。
- 参考スコア(独自算出の注目度): 3.5509424600303174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we examine how fine-tuning impacts the fairness of contrastive
Self-Supervised Learning (SSL) models. Our findings indicate that Batch
Normalization (BN) statistics play a crucial role, and that updating only the
BN statistics of a pre-trained SSL backbone improves its downstream fairness
(36% worst subgroup, 25% mean subgroup gap). This procedure is competitive with
supervised learning, while taking 4.4x less time to train and requiring only
0.35% as many parameters to be updated. Finally, inspired by recent work in
supervised learning, we find that updating BN statistics and training residual
skip connections (12.3% of the parameters) achieves parity with a fully
fine-tuned model, while taking 1.33x less time to train.
- Abstract(参考訳): 本研究は,自己監督学習(SSL)モデルの公正性に及ぼす微調整の影響について検討する。
以上の結果から, Batch Normalization (BN) 統計は重要な役割を担っており, トレーニング済みのSSLバックボーンのBN統計のみの更新は, 下流のフェアネス(36%最悪サブグループ, 25%平均サブグループギャップ)を改善することが示唆された。
この手順は教師付き学習と競合するが、トレーニングに4.4倍の時間を要し、更新されるパラメータの0.35%しか必要としない。
最後に、教師あり学習における最近の研究に触発されて、BN統計の更新と残留スキップ接続(パラメータの12.3%)のトレーニングが、完全に微調整されたモデルと同等であり、トレーニングに1.33倍の時間を要することがわかった。
関連論文リスト
- CLCE: An Approach to Refining Cross-Entropy and Contrastive Learning for
Optimized Learning Fusion [16.00706418526691]
クロスエントロピー損失(CE)はモデルの一般化と安定性を損なう可能性がある。
本稿では,Contrastive Learning と CE を統合した CLCE という新しいアプローチを提案する。
CLCEは12ベンチマークでCEのTop-1精度を大きく上回っている。
論文 参考訳(メタデータ) (2024-02-22T13:45:01Z) - Online Continual Learning via Logit Adjusted Softmax [26.099312431454173]
訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。
トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。
提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
論文 参考訳(メタデータ) (2023-11-11T03:03:33Z) - Overcoming Recency Bias of Normalization Statistics in Continual
Learning: Balance and Adaptation [67.77048565738728]
継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。
本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。
提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2023-10-13T04:50:40Z) - Instruction Tuned Models are Quick Learners [20.771930945083994]
そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。
STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。
MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
論文 参考訳(メタデータ) (2023-05-17T22:30:01Z) - Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。
我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。
包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
論文 参考訳(メタデータ) (2023-05-09T07:00:17Z) - Speech separation with large-scale self-supervised learning [41.96634125460265]
WavLMのような自己教師付き学習(SSL)手法は、小規模なシミュレーションに基づく実験において、有望な音声分離(SS)結果を示している。
トレーニング済みデータ(300K時間以上)と微調整データ(10K時間以上)の両方を大規模にスケールアップすることで、SSLベースのSSの探索を拡張します。
論文 参考訳(メタデータ) (2022-11-09T20:00:21Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳(メタデータ) (2021-04-01T08:09:26Z) - Low-Precision Reinforcement Learning [63.930246183244705]
教師付き学習における計算時間、メモリフットプリント、エネルギー消費を減らすために、低精度トレーニングが一般的なアプローチになっている。
本稿では,最先端のsacエージェントを用いた継続的制御について検討し,教師あり学習による低精度適応が失敗することを実証する。
論文 参考訳(メタデータ) (2021-02-26T16:16:28Z) - Exponential Moving Average Normalization for Self-supervised and
Semi-supervised Learning [90.69256802784689]
指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。
統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。
emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
論文 参考訳(メタデータ) (2021-01-21T07:45:37Z) - Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。
提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
論文 参考訳(メタデータ) (2020-03-28T18:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。