論文の概要: Evaluating the fairness of fine-tuning strategies in self-supervised learning

• arxiv url: http://arxiv.org/abs/2110.00538v1
• Date: Fri, 1 Oct 2021 17:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:30:38.716238
• Title: Evaluating the fairness of fine-tuning strategies in self-supervised learning
• Title（参考訳）: 自己指導型学習における微調整戦略の公平性の評価
• Authors: Jason Ramapuram, Dan Busbridge, Russ Webb
• Abstract要約: 事前訓練されたSSLバックボーンのBN統計のみの更新は、下流の公平性を改善する(36%最悪のサブグループ、25%平均サブグループギャップ)。 この手順は教師あり学習と競合するが、訓練に4.4倍の時間を要し、更新されるパラメータの0.35%しか必要としない。
• 参考スコア（独自算出の注目度）: 3.5509424600303174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we examine how fine-tuning impacts the fairness of contrastive Self-Supervised Learning (SSL) models. Our findings indicate that Batch Normalization (BN) statistics play a crucial role, and that updating only the BN statistics of a pre-trained SSL backbone improves its downstream fairness (36% worst subgroup, 25% mean subgroup gap). This procedure is competitive with supervised learning, while taking 4.4x less time to train and requiring only 0.35% as many parameters to be updated. Finally, inspired by recent work in supervised learning, we find that updating BN statistics and training residual skip connections (12.3% of the parameters) achieves parity with a fully fine-tuned model, while taking 1.33x less time to train.
• Abstract（参考訳）: 本研究は,自己監督学習(SSL)モデルの公正性に及ぼす微調整の影響について検討する。 以上の結果から, Batch Normalization (BN) 統計は重要な役割を担っており, トレーニング済みのSSLバックボーンのBN統計のみの更新は, 下流のフェアネス(36%最悪サブグループ, 25%平均サブグループギャップ)を改善することが示唆された。 この手順は教師付き学習と競合するが、トレーニングに4.4倍の時間を要し、更新されるパラメータの0.35%しか必要としない。 最後に、教師あり学習における最近の研究に触発されて、BN統計の更新と残留スキップ接続(パラメータの12.3%)のトレーニングが、完全に微調整されたモデルと同等であり、トレーニングに1.33倍の時間を要することがわかった。

関連論文リスト

• The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
  モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。 本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning [0.0]
  人口ベーストレーニング(PBT)は、トレーニング全体を通してハイパーパラメータを継続的にチューニングすることで、これを実現する方法を提供する。 本稿では,単一個体群内における第1次と第2次の両方を同時に活用することにより,PBTの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-27T21:54:26Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• CLCE: An Approach to Refining Cross-Entropy and Contrastive Learning for Optimized Learning Fusion [15.106479030601378]
  クロスエントロピー損失(CE)はモデルの一般化と安定性を損なう可能性がある。 本稿では,Contrastive Learning と CE を統合した CLCE という新しいアプローチを提案する。 CLCEは12ベンチマークでCEのTop-1精度を大きく上回っている。
  論文  参考訳（メタデータ） (2024-02-22T13:45:01Z)
• Online Continual Learning via Logit Adjusted Softmax [24.327176079085703]
  訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。 トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。 提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
  論文  参考訳（メタデータ） (2023-11-11T03:03:33Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Low-Precision Reinforcement Learning [63.930246183244705]
  教師付き学習における計算時間、メモリフットプリント、エネルギー消費を減らすために、低精度トレーニングが一般的なアプローチになっている。 本稿では,最先端のsacエージェントを用いた継続的制御について検討し,教師あり学習による低精度適応が失敗することを実証する。
  論文  参考訳（メタデータ） (2021-02-26T16:16:28Z)
• Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning [90.69256802784689]
  指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。 統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
  論文  参考訳（メタデータ） (2021-01-21T07:45:37Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。