Fugu-MT 論文翻訳(概要): SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization

論文の概要: SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization

arxiv url: http://arxiv.org/abs/2011.05348v2
Date: Sat, 16 Oct 2021 16:46:21 GMT
ステータス: 処理完了
システム内更新日: 2022-09-27 06:57:09.004147
Title: SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization
Title（参考訳）: salr: 一般化を改善するためのシャープネス認識学習率スケジューラ
Authors: Xubo Yue, Maher Nouiehed, Raed Al Kontar
Abstract要約: 本手法は,損失関数の局所的シャープネスに基づいて,勾配に基づく最小値の学習率を動的に更新する。幅広いネットワーク上で様々なアルゴリズムでSALRを適用した場合の有効性を実証する。実験の結果、SALRは一般化を改善し、より高速に収束し、解をかなり平坦な領域へと推し進めることがわかった。
参考スコア（独自算出の注目度）: 6.18778092044887
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In an effort to improve generalization in deep learning and automate the process of learning rate scheduling, we propose SALR: a sharpness-aware learning rate update technique designed to recover flat minimizers. Our method dynamically updates the learning rate of gradient-based optimizers based on the local sharpness of the loss function. This allows optimizers to automatically increase learning rates at sharp valleys to increase the chance of escaping them. We demonstrate the effectiveness of SALR when adopted by various algorithms over a broad range of networks. Our experiments indicate that SALR improves generalization, converges faster, and drives solutions to significantly flatter regions.
Abstract（参考訳）: ディープラーニングの一般化を改善し,学習率スケジューリングのプロセスを自動化するために,フラット・ミニマライザを復元するシャープネス対応学習率更新技術であるSALRを提案する。本手法は,損失関数の局所シャープネスに基づいて,勾配に基づくオプティマイザの学習率を動的に更新する。これによりオプティマイザは、鋭い谷での学習率を自動的に増加させ、脱出する可能性を高めることができる。幅広いネットワーク上で様々なアルゴリズムでSALRを適用した場合の有効性を実証する。実験の結果、SALRは一般化を改善し、より高速に収束し、解をかなり平坦な領域へと推し進めることがわかった。

関連論文リスト

Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [0.9549646359252346]
深層強化学習(LRRL)のための動的学習率を提案する。 LRRLは、トレーニング中のエージェントのパフォーマンスに基づいて学習率を選択するメタラーニングアプローチである。実験の結果,LRRLは深部RLアルゴリズムの性能を大幅に向上できることが示された。
論文参考訳（メタデータ） (2024-10-16T14:15:28Z)
Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文参考訳（メタデータ） (2024-07-01T20:58:01Z)
Hard ASH: Sparsity and the right optimizer make a continual learner [0.0]
本研究では,スパースアクティベーション関数と適応学習率を,Split-MNISTタスクにおいて確立された正規化手法と競合させることができることを示す。学習保持をさらに強化するために,新しい変種であるHard Adaptive SwisH(Hard ASH)を導入する。
論文参考訳（メタデータ） (2024-04-26T18:16:39Z)
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文参考訳（メタデータ） (2023-03-01T15:12:42Z)
Learning Rate Perturbation: A Generic Plugin of Learning Rate Schedule towards Flatter Local Minima [40.70374106466073]
LEAP(LEArning Rate Perturbation)と呼ばれる一般学習率スケジュールプラグインを提案する。 LEAPは、学習率に一定の摂動を導入することにより、モデルトレーニングを改善するために、様々な学習率スケジュールに適用することができる。 LEAPを用いたトレーニングにより、多様なデータセット上での様々なディープラーニングモデルの性能を向上させることができることを示す広範な実験を行う。
論文参考訳（メタデータ） (2022-08-25T05:05:18Z)
Low-Precision Reinforcement Learning [63.930246183244705]
教師付き学習における計算時間、メモリフットプリント、エネルギー消費を減らすために、低精度トレーニングが一般的なアプローチになっている。本稿では,最先端のsacエージェントを用いた継続的制御について検討し,教師あり学習による低精度適応が失敗することを実証する。
論文参考訳（メタデータ） (2021-02-26T16:16:28Z)
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
論文参考訳（メタデータ） (2021-02-23T10:26:54Z)
Training Aware Sigmoidal Optimizer [2.99368851209995]
Aware Sigmoidal関数をトレーニングすると、ローカルミニマよりもはるかにサドルロスの風景が表示されます。本研究では,2相自動学習率スケジュールからなるTASO(Training Aware Sigmoidal Function)を提案する。提案手法をAdam、RMS、Adagradなどの一般的な適応学習率スケジュールと比較した。
論文参考訳（メタデータ） (2021-02-17T12:00:46Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Robust Sampling in Deep Learning [62.997667081978825]
ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
論文参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。