論文の概要: Adam through a Second-Order Lens
- arxiv url: http://arxiv.org/abs/2310.14963v1
- Date: Mon, 23 Oct 2023 14:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:36:06.868555
- Title: Adam through a Second-Order Lens
- Title(参考訳): 第二級レンズを通したアダム
- Authors: Ross M. Clarke, Baiyu Su, Jos\'e Miguel Hern\'andez-Lobato
- Abstract要約: 我々は、K-FAC(Martens and Grosse, 2015)の減衰と学習率選択技術を組み合わせたオプティマイザAdamQLRを提案する。
我々はAdamQLRを様々なスケールの回帰および分類タスクで評価し、実行時と競合する一般化性能を達成する。
- 参考スコア(独自算出の注目度): 1.3654846342364308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research into optimisation for deep learning is characterised by a tension
between the computational efficiency of first-order, gradient-based methods
(such as SGD and Adam) and the theoretical efficiency of second-order,
curvature-based methods (such as quasi-Newton methods and K-FAC). We seek to
combine the benefits of both approaches into a single computationally-efficient
algorithm. Noting that second-order methods often depend on stabilising
heuristics (such as Levenberg-Marquardt damping), we propose AdamQLR: an
optimiser combining damping and learning rate selection techniques from K-FAC
(Martens and Grosse, 2015) with the update directions proposed by Adam,
inspired by considering Adam through a second-order lens. We evaluate AdamQLR
on a range of regression and classification tasks at various scales, achieving
competitive generalisation performance vs runtime.
- Abstract(参考訳): 深層学習の最適化に関する研究は、一階勾配法(sgdやadamなど)の計算効率と二階曲率法(準ニュートン法やk-facなど)の理論効率との緊張関係によって特徴づけられる。
両手法の利点を1つの計算効率のアルゴリズムに組み合わせることを模索する。
2階法はしばしば安定なヒューリスティック(例えばレベンバーグ・マーカルト・ダンピング)に依存するが、我々はadamqlrを提案する: k-fac (martens and grosse, 2015) による減衰と学習率選択技術をadamが提案した更新方向と組み合わせたオプティマイザーである。
我々はAdamQLRを様々なスケールの回帰および分類タスクで評価し、実行時と競合する一般化性能を達成する。
関連論文リスト
- Adam-family Methods with Decoupled Weight Decay in Deep Learning [3.4376560669160394]
非平滑な非平滑ネットワークに対する幅広いアダム族手法の収束特性について検討する。
提案手法では,Adam with Decoupled Weight Decay (AdamD) という新しいAdam- Family法を提案する。
論文 参考訳(メタデータ) (2023-10-13T04:59:44Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳(メタデータ) (2023-07-02T18:16:06Z) - Improving Levenberg-Marquardt Algorithm for Neural Networks [2.127049691404299]
ニューラルネットワークにおける回帰(非線形最小二乗)および分類(一般化されたガウス・ニュートン法)タスクに対するレバンス・マルカルト(LM)アルゴリズムの利用について検討する。
LM法の性能を、SGDやAdamのような他の一般的な一階アルゴリズムや、L-BFGS、Hessian-Free、KFACといった他の二階アルゴリズムと比較する。
論文 参考訳(メタデータ) (2022-12-17T00:36:46Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - A Control Theoretic Framework for Adaptive Gradient Optimizers in
Machine Learning [0.6526824510982802]
適応勾配法はディープニューラルネットワークの最適化に人気がある。
最近の例にはAdaGradとAdamがある。
我々は適応的勾配法のための汎用的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-06-04T17:55:33Z) - On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。
準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
論文 参考訳(メタデータ) (2022-05-18T20:53:58Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳(メタデータ) (2021-08-25T17:58:21Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳(メタデータ) (2020-11-24T09:28:53Z) - ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。
ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文 参考訳(メタデータ) (2020-06-01T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。