論文の概要: A Dynamic Sampling Adaptive-SGD Method for Machine Learning
- arxiv url: http://arxiv.org/abs/1912.13357v2
- Date: Tue, 3 Mar 2020 00:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:34:16.288818
- Title: A Dynamic Sampling Adaptive-SGD Method for Machine Learning
- Title（参考訳）: 動的サンプリング適応SGD法による機械学習
- Authors: Achraf Bahamou, Donald Goldfarb
- Abstract要約: 本稿では,勾配近似の計算に使用されるバッチサイズと,その方向に移動するステップサイズを適応的に制御する手法を提案する。
提案手法は局所曲率情報を利用して探索方向を高い確率で降下方向とする。
数値実験により、この手法は最適な学習率を選択することができ、ロジスティック回帰とDNNを訓練するための微調整されたSGDと好適に比較できることが示された。
- 参考スコア（独自算出の注目度）: 8.173034693197351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a stochastic optimization method for minimizing loss functions,
expressed as an expected value, that adaptively controls the batch size used in
the computation of gradient approximations and the step size used to move along
such directions, eliminating the need for the user to tune the learning rate.
The proposed method exploits local curvature information and ensures that
search directions are descent directions with high probability using an
acute-angle test and can be used as a method that has a global linear rate of
convergence on self-concordant functions with high probability. Numerical
experiments show that this method is able to choose the best learning rates and
compares favorably to fine-tuned SGD for training logistic regression and DNNs.
We also propose an adaptive version of ADAM that eliminates the need to tune
the base learning rate and compares favorably to fine-tuned ADAM on training
DNNs. In our DNN experiments, we rarely encountered negative curvature at the
current point along the step direction in DNNs.
- Abstract（参考訳）: 本研究では,予測値として表現された損失関数を最小化するための確率的最適化手法を提案し,勾配近似の計算に使用されるバッチサイズと,その方向に移動するステップサイズを適応的に制御し,学習速度を調整する必要をなくす。
提案手法は局所曲率情報を利用して, 探索方向が確率の高い降下方向であることを保証するとともに, 確率の高い自己一致関数の収束率を大域的に有する手法として使用できる。
数値実験により,この手法は最良の学習率を選択でき,ロジスティック回帰とdnnを訓練するための微調整sgdと比較できることがわかった。
また,基礎学習率の調整を不要とした適応型ADAMを提案し,DNNの訓練における微調整ADAMと比較した。
DNN実験では、DNNのステップ方向に沿った現在の時点で負の曲率に遭遇することは滅多にない。
関連論文リスト
- Non-convergence of Adam and other adaptive stochastic gradient descent optimization methods for non-vanishing learning rates [3.6185342807265415]
ディープラーニングアルゴリズムは多くの人工知能(AI)システムにおいて重要な要素である。
ディープラーニングアルゴリズムは通常、勾配降下(SGD)最適化法によって訓練されたディープニューラルネットワークのクラスで構成されている。
論文 参考訳（メタデータ） (2024-07-11T00:10:35Z) - Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。
本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-06-20T14:07:39Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。
効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文 参考訳（メタデータ） (2023-02-24T10:32:30Z) - Convergence proof for stochastic gradient descent in the training of
deep neural networks with ReLU activation for constant target functions [1.7149364927872015]
勾配降下(SGD)型最適化法はディープニューラルネットワーク(DNN)の訓練において非常に効果的に機能する
本研究では,修正線形単位(ReLU)アクティベーションを備えた完全連結フィードフォワードDNNのトレーニングにおけるSGD型最適化手法について検討する。
論文 参考訳（メタデータ） (2021-12-13T11:45:36Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Robust Learning Rate Selection for Stochastic Optimization via Splitting
Diagnostic [5.395127324484869]
SplitSGDは最適化のための新しい動的学習スケジュールである。
本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。
基本的には標準のSGDよりも計算コストがかかるわけではない。
論文 参考訳（メタデータ） (2019-10-18T19:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。