論文の概要: MoMo: Momentum Models for Adaptive Learning Rates
- arxiv url: http://arxiv.org/abs/2305.07583v1
- Date: Fri, 12 May 2023 16:25:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 12:21:50.345648
- Title: MoMo: Momentum Models for Adaptive Learning Rates
- Title(参考訳): MoMo:適応学習率のためのモーメントモデル
- Authors: Fabian Schaipp and Ruben Ohana and Michael Eickenberg and Aaron
Defazio and Robert M. Gower
- Abstract要約: 我々は任意の運動量法で利用できる新しい適応学習率を提案する。
我々は,新たな適応学習率とともに,運動量を持つSGDであるMoMoとMoMo-Adamを開発した。
数値実験により,我々のMoMo法はSGDMとAdamよりも精度とロバスト性に優れていた。
- 参考スコア(独自算出の注目度): 18.160160829597412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present new adaptive learning rates that can be used with any momentum
method. To showcase our new learning rates we develop MoMo and MoMo-Adam, which
are SGD with momentum (SGDM) and Adam together with our new adaptive learning
rates. Our MoMo methods are motivated through model-based stochastic
optimization, wherein we use momentum estimates of the batch losses and
gradients sampled at each iteration to build a model of the loss function. Our
model also makes use of any known lower bound of the loss function by using
truncation. Indeed most losses are bounded below by zero. We then approximately
minimize this model at each iteration to compute the next step. For losses with
unknown lower bounds, we develop new on-the-fly estimates of the lower bound
that we use in our model. Numerical experiments show that our MoMo methods
improve over SGDM and Adam in terms of accuracy and robustness to
hyperparameter tuning for training image classifiers on MNIST, CIFAR10,
CIFAR100, Imagenet32, DLRM on the Criteo dataset, and a transformer model on
the translation task IWSLT14.
- Abstract(参考訳): 我々は任意の運動量法で利用できる新しい適応学習率を提案する。
新たな学習率を示すために,運動量を持つSGD(SGDM)であるMoMoとMoMo-Adamを開発した。
提案手法はモデルに基づく確率的最適化によって動機付けされ,各イテレーションでサンプリングされたバッチ損失と勾配のモーメント推定を用いて損失関数のモデルを構築する。
また, このモデルでは, トランケーションを用いて, 損失関数の既知の下限も利用している。
実際、ほとんどの損失は0以下である。
次に、このモデルを各イテレーションでほぼ最小化し、次のステップを計算します。
未知の下界を持つ損失に対して、我々はモデルで使用する下界の新しいオンザフライ推定を開発する。
数値実験により, mnist, cifar10, cifar100, imagenet32, dlrm, criteoデータセット上の画像分類器, 変換タスクiwslt14上のトランスフォーマーモデルにおけるハイパーパラメータチューニングの精度と頑健性の観点から, sgdmおよびadamよりもmomo法が改善することを示した。
関連論文リスト
- Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - MoPe: Model Perturbation-based Privacy Attacks on Language Models [4.4746931463927835]
大規模言語モデル(LLM)は、トレーニングデータに存在する機密情報を意図せずにリークすることができる。
本稿では,事前学習した言語モデルのトレーニングデータに含まれるテキストを高い信頼度で識別する新しい手法であるモデル摂動(MoPe)を提案する。
論文 参考訳(メタデータ) (2023-10-22T17:33:19Z) - Multi-timestep models for Model-based Reinforcement Learning [10.940666275830052]
モデルベース強化学習(MBRL)では、ほとんどのアルゴリズムはデータに基づいて学習した1ステップのダイナミックスモデルからの軌道のシミュレーションに依存している。
我々は、マルチステップの目標を用いてワンステップモデルをトレーニングすることでこの問題に対処する。
指数関数的に減衰する重みは、長い水平R2スコアを著しく改善するモデルに繋がることがわかった。
論文 参考訳(メタデータ) (2023-10-09T12:42:39Z) - Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
我々は,累積モデル組合せ (AMC) という解を提案する。
AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
論文 参考訳(メタデータ) (2023-05-06T20:56:20Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。
VaGraMは価値認識モデル学習の新しい手法である。
論文 参考訳(メタデータ) (2022-04-04T13:28:31Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Learning to Reweight Imaginary Transitions for Model-Based Reinforcement
Learning [58.66067369294337]
モデルが不正確または偏りがある場合、虚構軌跡はアクション値とポリシー関数を訓練するために欠落する可能性がある。
虚構遷移を適応的に再重み付けし, 未生成軌跡の負の効果を低減させる。
提案手法は,複数のタスクにおいて,最先端のモデルベースおよびモデルフリーなRLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2021-04-09T03:13:35Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。