Fugu-MT 論文翻訳(概要): A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization

論文の概要: A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization

arxiv url: http://arxiv.org/abs/2102.10880v1
Date: Mon, 22 Feb 2021 10:26:31 GMT
ステータス: 処理完了
システム内更新日: 2021-02-23 23:49:38.927606
Title: A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization
Title（参考訳）: 確率最適化のための確率的学習率適応法
Authors: Filip de Roos, Carl Jidling, Adrian Wills, Thomas Sch\"on and Philipp Hennig
Abstract要約: 一般的な一階法に対して,ガウス推論の観点からの確率的動機付けを提供する。この推論により、トレーニング中に自動的に適応できる無次元量に学習率を関連付けることができる。得られたメタアルゴリズムは、学習率を幅広い初期値にわたって頑健に適応させることが示される。
参考スコア（独自算出の注目度）: 20.77923050735746
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning practitioners invest significant manual and computational resources in finding suitable learning rates for optimization algorithms. We provide a probabilistic motivation, in terms of Gaussian inference, for popular stochastic first-order methods. As an important special case, it recovers the Polyak step with a general metric. The inference allows us to relate the learning rate to a dimensionless quantity that can be automatically adapted during training by a control algorithm. The resulting meta-algorithm is shown to adapt learning rates in a robust manner across a large range of initial values when applied to deep learning benchmark problems.
Abstract（参考訳）: 機械学習の実践者は、最適化アルゴリズムに適した学習率を見つけることに重要な手動および計算リソースを投資します。一般の確率的一階法に対して,ガウス推論の観点からの確率的動機付けを提供する。重要な特別なケースとして、一般的なメトリックでPolyakステップを回復します。この推論により、制御アルゴリズムによるトレーニング中に自動的に適応できる無次元量に学習率を関連付けることができる。結果のメタアルゴリズムは、ディープラーニングベンチマーク問題に適用した場合に、幅広い初期値に対して頑健な方法で学習率を適用することが示される。

関連論文リスト

Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
論文参考訳（メタデータ） (2024-06-20T14:07:39Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning [3.0204520109309843]
機械学習における連続最適化問題に対処する一階法と二階法を考察する。一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-11-29T18:10:00Z)
Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information [37.70729542263343]
本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。我々の手法は方向とステップサイズを動的に適応させる。我々の手法は退屈なチューニング率チューニングを必要としない。
論文参考訳（メタデータ） (2021-09-11T06:39:50Z)
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文参考訳（メタデータ） (2021-04-12T13:13:34Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
First-order Optimization for Superquantile-based Supervised Learning [0.0]
本稿では,超量子的学習目標を最小化する一階最適化アルゴリズムを提案する。提案アルゴリズムは,不完全な畳み込みによる超量子関数の平滑化に基づく。
論文参考訳（メタデータ） (2020-09-30T11:43:45Z)
Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文参考訳（メタデータ） (2020-09-07T16:47:30Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Meta-learning with Stochastic Linear Bandits [120.43000970418939]
我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
論文参考訳（メタデータ） (2020-05-18T08:41:39Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。