論文の概要: BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2207.02763v1
• Date: Wed, 6 Jul 2022 15:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 15:03:46.296388
• Title: BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization
• Title（参考訳）: BFEとAdaBFE:確率最適化のための学習速度自動化の新しいアプローチ
• Authors: Xin Cao
• Abstract要約: 学習速度を自動的に調整する勾配に基づく最適化手法を提案する。 このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
• 参考スコア（独自算出の注目度）: 3.541406632811038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, a new gradient-based optimization approach by automatically adjusting the learning rate is proposed. This approach can be applied to design non-adaptive learning rate and adaptive learning rate. Firstly, I will introduce the non-adaptive learning rate optimization method: Binary Forward Exploration (BFE), and then the corresponding adaptive per-parameter learning rate method: Adaptive BFE (AdaBFE) is possible to be developed. This approach could be an alternative method to optimize the learning rate based on the stochastic gradient descent (SGD) algorithm besides the current non-adaptive learning rate methods e.g. SGD, momentum, Nesterov and the adaptive learning rate methods e.g. AdaGrad, AdaDelta, Adam... The purpose to develop this approach is not to beat the benchmark of other methods but just to provide a different perspective to optimize the gradient descent method, although some comparative study with previous methods will be made in the following sections. This approach is expected to be heuristic or inspire researchers to improve gradient-based optimization combined with previous methods.
• Abstract（参考訳）: 本稿では,学習率を自動的に調整する新しい勾配に基づく最適化手法を提案する。 このアプローチは、非適応学習率と適応学習率の設計に適用できる。 まず,非適応型学習率最適化法であるバイナリフォワード探索法(BFE)を導入し,それに対応する適応型学習率法(Adaptive BFE:AdaBFE)を開発する。 このアプローチは、SGD、運動量、ネステロフといった現在の非適応型学習率法と、AdaGrad、AdaDelta、Adamなどの適応型学習率法に加えて、確率勾配勾配(SGD)アルゴリズムに基づく学習率を最適化する別の方法かもしれない。 本手法の開発の目的は,他の手法のベンチマークを破ることではなく,勾配降下法を最適化するための異なる視点を提供することである。 このアプローチは、従来の手法と組み合わせて勾配に基づく最適化を改善するために、ヒューリスティックあるいはインスピレーションを与えると期待されている。

関連論文リスト

• Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
  標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。 本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-06-20T14:07:39Z)
• Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
  深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。 学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。 本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
  論文  参考訳（メタデータ） (2024-01-06T15:45:29Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization [3.541406632811038]
  BFE(Binary Forward Exploration)と呼ばれる,学習速度の自動スケジューリングによる勾配に基づく新しい最適化手法が最近提案されている。 本稿では,提案手法の効率性とロバスト性を最適化するため,改良されたアルゴリズムについて検討する。 本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。
  論文  参考訳（メタデータ） (2022-07-09T05:28:44Z)
• Adaptive Gradient Methods with Local Guarantees [48.980206926987606]
  本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。 視覚領域や言語領域で人気のあるベンチマークタスクに対して,最適な学習率スケジュールを自動的に選択する上で,本手法の堅牢性を示す。
  論文  参考訳（メタデータ） (2022-03-02T20:45:14Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Adaptive Stochastic Optimization [1.7945141391585486]
  適応最適化手法は、大規模システムの訓練に際し、計算量を大幅に削減する可能性がある。 勾配法に基づく現代的なアプローチは、それぞれのアプリケーションに調整が必要な所定のパラメータ値を採用するという意味では適応的ではない。
  論文  参考訳（メタデータ） (2020-01-18T16:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。