論文の概要: An Automatic Learning Rate Schedule Algorithm for Achieving Faster
Convergence and Steeper Descent
- arxiv url: http://arxiv.org/abs/2310.11291v1
- Date: Tue, 17 Oct 2023 14:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 15:29:24.861668
- Title: An Automatic Learning Rate Schedule Algorithm for Achieving Faster
Convergence and Steeper Descent
- Title（参考訳）: より高速な収束と急降下を実現する自動学習率スケジューリングアルゴリズム
- Authors: Zhao Song, Chiwun Yang
- Abstract要約: 実世界のニューラルネットワーク最適化におけるデルタバーデルタアルゴリズムの収束挙動について検討する。
RDBD(Regrettable Delta-Bar-Delta)と呼ばれる新しい手法を提案する。
提案手法は,バイアス付き学習率調整の迅速な修正を可能にし,最適化プロセスの収束を保証する。
- 参考スコア（独自算出の注目度）: 10.061799286306163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The delta-bar-delta algorithm is recognized as a learning rate adaptation
technique that enhances the convergence speed of the training process in
optimization by dynamically scheduling the learning rate based on the
difference between the current and previous weight updates. While this
algorithm has demonstrated strong competitiveness in full data optimization
when compared to other state-of-the-art algorithms like Adam and SGD, it may
encounter convergence issues in mini-batch optimization scenarios due to the
presence of noisy gradients.
In this study, we thoroughly investigate the convergence behavior of the
delta-bar-delta algorithm in real-world neural network optimization. To address
any potential convergence challenges, we propose a novel approach called RDBD
(Regrettable Delta-Bar-Delta). Our approach allows for prompt correction of
biased learning rate adjustments and ensures the convergence of the
optimization process. Furthermore, we demonstrate that RDBD can be seamlessly
integrated with any optimization algorithm and significantly improve the
convergence speed.
By conducting extensive experiments and evaluations, we validate the
effectiveness and efficiency of our proposed RDBD approach. The results
showcase its capability to overcome convergence issues in mini-batch
optimization and its potential to enhance the convergence speed of various
optimization algorithms. This research contributes to the advancement of
optimization techniques in neural network training, providing practitioners
with a reliable automatic learning rate scheduler for achieving faster
convergence and improved optimization outcomes.
- Abstract（参考訳）: デルタバーデルタアルゴリズムは、現在の重み更新と以前の重み更新の違いに基づいて学習率を動的にスケジューリングすることにより、最適化におけるトレーニングプロセスの収束速度を向上させる学習率適応手法として認識される。
このアルゴリズムは、AdamやSGDのような最先端のアルゴリズムと比較して、完全なデータ最適化において強力な競合性を示しているが、ノイズ勾配の存在によりミニバッチ最適化シナリオにおいて収束問題に遭遇する可能性がある。
本研究では,実世界のニューラルネットワーク最適化におけるデルタバーデルタアルゴリズムの収束挙動を徹底的に検討する。
そこで我々はrdbd(regrettable delta-bar-delta)と呼ばれる新しい手法を提案する。
提案手法は,バイアス付き学習率調整の迅速な修正を可能にし,最適化プロセスの収束を保証する。
さらに, rdbdは任意の最適化アルゴリズムとシームレスに統合でき, 収束速度を大幅に向上できることを示す。
広範囲な実験と評価を行うことで,提案手法の有効性と有効性を検証する。
その結果、ミニバッチ最適化における収束問題を克服する能力と、様々な最適化アルゴリズムの収束速度を高める可能性を示した。
本研究は、ニューラルネットワークトレーニングにおける最適化技術の進歩に寄与し、より高速な収束と最適化結果の改善を実現するための信頼性の高い自動学習率スケジューラを提供する。
関連論文リスト
- Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。
提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
論文 参考訳（メタデータ） (2024-05-15T19:03:08Z) - A Full Adagrad algorithm with O(Nd) operations [4.389938747401259]
この研究は大規模アプリケーションのための効率的で実用的なアルゴリズムを提供する。
この革新的な戦略は、一般的にフルマトリックスメソッドに関連する複雑さとリソース要求を著しく削減する。
論文 参考訳（メタデータ） (2024-05-03T08:02:08Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳（メタデータ） (2022-07-14T22:46:43Z) - Improved Binary Forward Exploration: Learning Rate Scheduling Method for
Stochastic Optimization [3.541406632811038]
BFE(Binary Forward Exploration)と呼ばれる,学習速度の自動スケジューリングによる勾配に基づく新しい最適化手法が最近提案されている。
本稿では,提案手法の効率性とロバスト性を最適化するため,改良されたアルゴリズムについて検討する。
本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。
論文 参考訳（メタデータ） (2022-07-09T05:28:44Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Iterative Surrogate Model Optimization (ISMO): An active learning
algorithm for PDE constrained optimization with deep neural networks [14.380314061763508]
反復代理モデル最適化(ISMO)と呼ばれる新しい能動学習アルゴリズムを提案する。
このアルゴリズムはディープニューラルネットワークに基づいており、その重要な特徴は、ディープニューラルネットワークと基礎となる標準最適化アルゴリズムの間のフィードバックループを通じて、トレーニングデータの反復的な選択である。
論文 参考訳（メタデータ） (2020-08-13T07:31:07Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。