論文の概要: Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2207.04198v1
• Date: Sat, 9 Jul 2022 05:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 15:36:58.047922
• Title: Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization
• Title（参考訳）: 改良バイナリフォワード探索:確率最適化のための学習率スケジューリング法
• Authors: Xin Cao
• Abstract要約: BFE(Binary Forward Exploration)と呼ばれる,学習速度の自動スケジューリングによる勾配に基づく新しい最適化手法が最近提案されている。 本稿では,提案手法の効率性とロバスト性を最適化するため,改良されたアルゴリズムについて検討する。 本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。
• 参考スコア（独自算出の注目度）: 3.541406632811038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new gradient-based optimization approach by automatically scheduling the learning rate has been proposed recently, which is called Binary Forward Exploration (BFE). The Adaptive version of BFE has also been discussed thereafter. In this paper, the improved algorithms based on them will be investigated, in order to optimize the efficiency and robustness of the new methodology. This improved approach provides a new perspective to scheduling the update of learning rate and will be compared with the stochastic gradient descent (SGD) algorithm with momentum or Nesterov momentum and the most successful adaptive learning rate algorithm e.g. Adam. The goal of this method does not aim to beat others but provide a different viewpoint to optimize the gradient descent process. This approach combines the advantages of the first-order and second-order optimizations in the aspects of speed and efficiency.
• Abstract（参考訳）: 近年,学習率の自動スケジューリングによる勾配に基づく新しい最適化手法が提案され,binary forward exploration (bfe) と呼ばれる。 その後、BFEの適応版も議論されている。 本稿では,新しい手法の効率と頑健性を最適化するために,それらに基づく改良アルゴリズムについて検討する。 この改良されたアプローチは、学習率の更新をスケジューリングする新しい視点を提供し、運動量やネステロフ運動量を持つ確率勾配降下(sgd)アルゴリズムと、adamのような最も成功した適応学習率アルゴリズムと比較される。 本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。 このアプローチは、スピードと効率の面で、一階最適化と二階最適化の利点を組み合わせる。

関連論文リスト

• Minimizing UCB: a Better Local Search Strategy in Local Bayesian Optimization [9.120912236055544]
  我々は、勾配降下法と上信頼境界(UCB)を最小化する手法の関係を発展させる。 GIBO における CB の最小化により勾配降下を最小化する局所ベイズ最適化アルゴリズム MinUCB を提案する。 提案手法は,異なる合成関数と実世界の関数に応用し,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-24T07:17:24Z)
• Variational Stochastic Gradient Descent for Deep Neural Networks [16.96187187108041]
  現在の最先端は、Adamのような適応的勾配に基づく最適化手法である。 ここでは,2つのアプローチを組み合わせることを提案し,その結果,VSGD(Variational Gradient Descent)を導出する。 我々は、VSGD法がAdamのような他の適応勾配ベースとどのように関係しているかを示す。
  論文  参考訳（メタデータ） (2024-04-09T18:02:01Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent [10.061799286306163]
  実世界のニューラルネットワーク最適化におけるデルタバーデルタアルゴリズムの収束挙動について検討する。 RDBD(Regrettable Delta-Bar-Delta)と呼ばれる新しい手法を提案する。 提案手法は,バイアス付き学習率調整の迅速な修正を可能にし,最適化プロセスの収束を保証する。
  論文  参考訳（メタデータ） (2023-10-17T14:15:57Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
  学習速度を自動的に調整する勾配に基づく最適化手法を提案する。 このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
  論文  参考訳（メタデータ） (2022-07-06T15:55:53Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。