論文の概要: Rethinking Weight Decay for Robust Fine-Tuning of Foundation Models

• arxiv url: http://arxiv.org/abs/2411.01713v1
• Date: Sun, 03 Nov 2024 23:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:14.467872
• Title: Rethinking Weight Decay for Robust Fine-Tuning of Foundation Models
• Title（参考訳）: 基礎モデルのロバストな微調整のための重量減少の再考
• Authors: Junjiao Tian, Chengyue Huang, Zsolt Kira,
• Abstract要約: 本稿では,新しい重み劣化手法Selective Projection Decay (SPD)を提案する。 SPDは特定の層に強いペナルティを課し、他の層は自由に変更できる。 SPDを搭載した場合、Adamはベンチマーク上でより優れた分散ロバスト性とアウト・オブ・ディストリビュート性能を提供する。
• 参考スコア（独自算出の注目度）: 27.847140934456288
• License:
• Abstract: Modern optimizers such as AdamW, equipped with momentum and adaptive learning rate, are designed to escape local minima and explore the vast parameter space. This exploration is beneficial for finding good loss basins when training from scratch. It is not necessarily ideal when resuming from a powerful foundation model because it can lead to large deviations from the pre-trained initialization and, consequently, worse robustness and generalization. At the same time, strong regularization on all parameters can lead to under-fitting. We hypothesize that selectively regularizing the parameter space is the key to fitting and retraining the pre-trained knowledge. This paper proposes a new weight decay technique, Selective Projection Decay (SPD), that selectively imposes a strong penalty on certain layers while allowing others to change freely. Intuitively, SPD expands and contracts the parameter search space for layers with consistent and inconsistent loss reduction, respectively. Experimentally, when equipped with SPD, Adam consistently provides better in-distribution generalization and out-of-distribution robustness performance on multiple popular vision and language benchmarks. Code available at~\url{https://github.com/GT-RIPL/Selective-Projection-Decay.git}
• Abstract（参考訳）: モーメントと適応学習率を備えたAdamWのような現代のオプティマイザは、局所的なミニマを逃れ、広大なパラメータ空間を探索するために設計されている。 この探索は、スクラッチからトレーニングするときに良い損失盆地を見つけるのに有益である。 強力な基礎モデルから再帰することは必ずしも理想的ではない、なぜならそれは事前訓練された初期化から大きな逸脱を招き、その結果、より弱い堅牢性と一般化をもたらすからである。 同時に、全てのパラメータの強い正規化は、不適合につながる可能性がある。 パラメータ空間を選択的に正規化することが、事前学習された知識の適合と再学習の鍵である、という仮説を立てる。 本稿では, ある層に強いペナルティを選択的に課し, 他層を自由に変化させることが可能な新しい重み劣化手法, Selective Projection Decay (SPD)を提案する。 直感的には、SPDは、それぞれ一貫した損失減少と矛盾した損失減少を持つ層に対するパラメータ探索空間を拡張して収縮する。 実験では、SPDを搭載した場合、Adamは、複数の一般的なビジョンと言語ベンチマーク上で、より優れた分布内一般化と分散外ロバスト性性能を提供する。 code available at~\url{https://github.com/GT-RIPL/Selective-Projection-Decay.git}

関連論文リスト

• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks [25.114642281756495]
  ウェイト崩壊(Weight decay)は、ディープラーニングにおいて最も広く使われている正規化形式の一つである。 本稿では、勾配勾配勾配は、この目的に対して非効率なアルゴリズムであると主張している。 ReLUアクティベーションを持つニューラルネットワークの場合、重み劣化対象に対する解は異なる目的の解と等価である。
  論文  参考訳（メタデータ） (2022-10-06T17:22:40Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• The Implicit Biases of Stochastic Gradient Descent on Deep Neural Networks with Batch Normalization [44.30960913470372]
  バッチ正規化(BN-DNN)を伴うディープニューラルネットワークは、その正規化操作のために重み付け再スケーリングには不変である。 BN-DNNにおける勾配降下(SGD)の暗黙バイアスについて検討し,重量減衰の有効性に関する理論的説明を行う。
  論文  参考訳（メタデータ） (2021-02-06T03:40:20Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)
• A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
  変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。 VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
  論文  参考訳（メタデータ） (2020-04-27T05:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。