論文の概要: Constrained Parameter Regularization
- arxiv url: http://arxiv.org/abs/2311.09058v2
- Date: Wed, 6 Dec 2023 14:20:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 18:04:40.560971
- Title: Constrained Parameter Regularization
- Title(参考訳): 制約パラメータ正規化
- Authors: J\"org K.H. Franke, Michael Hefenbrock, Gregor Koehler, Frank Hutter
- Abstract要約: 正規化はディープラーニングトレーニングにおいて重要な要素である。
従来の重み減衰の代替として制約パラメータ正規化(CPR)を提案する。
CPRはグルーキングの効果に対抗し、従来の重量減少と一貫して一致し、より優れる。
- 参考スコア(独自算出の注目度): 41.055148686036176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regularization is a critical component in deep learning training, with weight
decay being a commonly used approach. It applies a constant penalty coefficient
uniformly across all parameters. This may be unnecessarily restrictive for some
parameters, while insufficiently restricting others. To dynamically adjust
penalty coefficients for different parameter groups, we present constrained
parameter regularization (CPR) as an alternative to traditional weight decay.
Instead of applying a single constant penalty to all parameters, we enforce an
upper bound on a statistical measure (e.g., the L$_2$-norm) of parameter
groups. Consequently, learning becomes a constraint optimization problem, which
we address by an adaptation of the augmented Lagrangian method. CPR only
requires two hyperparameters and incurs no measurable runtime overhead.
Additionally, we propose a simple but efficient mechanism to adapt the upper
bounds during the optimization. We provide empirical evidence of CPR's efficacy
in experiments on the "grokking" phenomenon, computer vision, and language
modeling tasks. Our results demonstrate that CPR counteracts the effects of
grokking and consistently matches or outperforms traditional weight decay.
- Abstract(参考訳): 正規化はディープラーニングトレーニングにおいて重要な要素であり、体重減少は一般的なアプローチである。
すべてのパラメータに対して一定のペナルティ係数を適用する。
これは一部のパラメータには不必要に制限されるが、他のパラメータには不十分である。
異なるパラメータ群に対するペナルティ係数を動的に調整するために,従来の減量に代わる制約付きパラメータ正規化(cpr)を提案する。
すべてのパラメータに単一の定数ペナルティを適用する代わりに、パラメータ群の統計的測度(例えば、l$_2$-norm)の上界を強制する。
その結果,学習は制約最適化問題となり,拡張ラグランジアン法の適用によって対処する。
cprは2つのハイパーパラメータしか必要とせず、実行時のオーバーヘッドを計測できない。
さらに,最適化時に上界を適応するための簡易かつ効率的な機構を提案する。
我々は,CPRの「農業」現象,コンピュータビジョン,言語モデリングタスクの実験における有効性の実証的証拠を提供する。
以上の結果から,CPRはグルーキングの効果と相反し,従来の重量減少よりも優れていた。
関連論文リスト
- Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。
これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。
本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
論文 参考訳(メタデータ) (2024-02-25T15:42:12Z) - IncreLoRA: Incremental Parameter Allocation Method for
Parameter-Efficient Fine-tuning [15.964205804768163]
IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。
我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-23T10:08:10Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-03-18T22:36:25Z) - Post-Episodic Reinforcement Learning Inference [24.290665221707652]
エピソード強化学習(RL)アルゴリズムから収集したデータによる推定と推定について検討する。
本稿では,適応重み付き再重み付き$Z$推定手法を提案する。
主な応用は、動的処理効果推定と動的オフポリシー評価である。
論文 参考訳(メタデータ) (2023-02-17T12:53:15Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for
Unbounded Functions [23.746620619512573]
最近の研究は「メガバッチ」の勾配を計算する効果を克服している
作業は、競争力のあるディープラーニングタスクで更新された後に広く使用される。
論文 参考訳(メタデータ) (2022-09-29T15:12:54Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning [36.643572071860554]
適応校正批判(ACC)と呼ばれる一般的な手法を提案する。
ACCは、最も最近の高分散であるが、政治的に偏りのないロールアウトを使用して、低分散時間差ターゲットのバイアスを軽減する。
ACC は TD3 にさらに適用することで非常に汎用的であり、この設定でも性能が向上していることを示す。
論文 参考訳(メタデータ) (2021-11-24T18:07:33Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳(メタデータ) (2021-07-01T06:43:11Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳(メタデータ) (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。