論文の概要: Automatic, Dynamic, and Nearly Optimal Learning Rate Specification by Local Quadratic Approximation

• arxiv url: http://arxiv.org/abs/2004.03260v1
• Date: Tue, 7 Apr 2020 10:55:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:04:39.582215
• Title: Automatic, Dynamic, and Nearly Optimal Learning Rate Specification by Local Quadratic Approximation
• Title（参考訳）: 局所二次近似による自動的, 動的, ほぼ最適学習速度の特定
• Authors: Yingqiu Zhu, Yu Chen, Danyang Huang, Bo Zhang and Hansheng Wang
• Abstract要約: ディープラーニングタスクでは、学習率が各イテレーションの更新ステップサイズを決定する。 局所二次近似(LQA)に基づく新しい最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 7.386152866234369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep learning tasks, the learning rate determines the update step size in each iteration, which plays a critical role in gradient-based optimization. However, the determination of the appropriate learning rate in practice typically replies on subjective judgement. In this work, we propose a novel optimization method based on local quadratic approximation (LQA). In each update step, given the gradient direction, we locally approximate the loss function by a standard quadratic function of the learning rate. Then, we propose an approximation step to obtain a nearly optimal learning rate in a computationally efficient way. The proposed LQA method has three important features. First, the learning rate is automatically determined in each update step. Second, it is dynamically adjusted according to the current loss function value and the parameter estimates. Third, with the gradient direction fixed, the proposed method leads to nearly the greatest reduction in terms of the loss function. Extensive experiments have been conducted to prove the strengths of the proposed LQA method.
• Abstract（参考訳）: ディープラーニングタスクでは、学習速度が各イテレーションの更新ステップサイズを決定し、勾配に基づく最適化において重要な役割を果たす。 しかし、実際の適切な学習率の決定は、通常主観的判断に反応する。 本研究では,局所二次近似(LQA)に基づく新しい最適化手法を提案する。 各更新ステップでは、勾配方向を考慮し、学習率の標準二次関数により局所的に損失関数を近似する。 そこで本研究では,ほぼ最適な学習率を計算効率よく得られる近似ステップを提案する。 提案手法には3つの重要な特徴がある。 まず、各更新ステップで学習率を自動的に決定する。 次に、電流損失関数値およびパラメータ推定値に応じて動的に調整する。 第3に、勾配方向を固定することにより、提案手法は損失関数の点で最大に減少する。 提案したLQA法の強度を証明するため, 大規模実験を行った。

関連論文リスト

• Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
  標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。 本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-06-20T14:07:39Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Towards a Principled Learning Rate Adaptation for Natural Evolution Strategies [0.0]
  自然進化戦略(NES)の新しい学習率適応機構を提案する。 提案手法により,比較的容易に最適化できる問題に対して,高い学習率を設定することができる。 実験により, 探索状況に応じて, 提案機構が適切に機能することが実証された。
  論文  参考訳（メタデータ） (2021-11-22T13:20:12Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)
• Statistical Adaptive Stochastic Gradient Methods [34.859895010071234]
  本研究では、勾配法における学習率(ステップサイズ)を自動的にスケジューリングするSALSAと呼ばれる統計的適応手法を提案する。 SALSAはまずスムーズな線探索法を用いて学習率を徐々に増加させ、その後自動的に学習率を低下させる。 本発明の学習率低下方法は、一定のステップサイズを使用すると、ステーションスイッチを検出するための新しい統計テストに基づいている。
  論文  参考訳（メタデータ） (2020-02-25T00:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。