論文の概要: Robust Learning Rate Selection for Stochastic Optimization via Splitting
Diagnostic
- arxiv url: http://arxiv.org/abs/1910.08597v5
- Date: Sat, 17 Feb 2024 00:18:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 22:05:30.082862
- Title: Robust Learning Rate Selection for Stochastic Optimization via Splitting
Diagnostic
- Title(参考訳): 分割診断による確率最適化のためのロバスト学習率の選択
- Authors: Matteo Sordello, Niccol\`o Dalmasso, Hangfeng He and Weijie Su
- Abstract要約: SplitSGDは最適化のための新しい動的学習スケジュールである。
本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。
基本的には標準のSGDよりも計算コストがかかるわけではない。
- 参考スコア(独自算出の注目度): 5.395127324484869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes SplitSGD, a new dynamic learning rate schedule for
stochastic optimization. This method decreases the learning rate for better
adaptation to the local geometry of the objective function whenever a
stationary phase is detected, that is, the iterates are likely to bounce at
around a vicinity of a local minimum. The detection is performed by splitting
the single thread into two and using the inner product of the gradients from
the two threads as a measure of stationarity. Owing to this simple yet provably
valid stationarity detection, SplitSGD is easy-to-implement and essentially
does not incur additional computational cost than standard SGD. Through a
series of extensive experiments, we show that this method is appropriate for
both convex problems and training (non-convex) neural networks, with
performance compared favorably to other stochastic optimization methods.
Importantly, this method is observed to be very robust with a set of default
parameters for a wide range of problems and, moreover, can yield better
generalization performance than other adaptive gradient methods such as Adam.
- Abstract(参考訳): 本稿では,確率最適化のための新しい動的学習率スケジュールであるSplitSGDを提案する。
この方法は、定常位相が検出されたとき、すなわち、イテレートが局所極小付近でバウンドし易いという目的関数の局所幾何への適応性を改善するための学習率を低下させる。
この検出は、単一糸を2つに分割し、2本の糸から勾配の内積を定常度を測定することで行う。
この単純かつ証明可能な定常性検出のため、SplitSGDは実装が容易であり、基本的に標準のSGDよりも計算コストが増大しない。
一連の広範囲な実験を通して、この手法は凸問題とトレーニング(非凸)ニューラルネットワークの両方に適しており、他の確率的最適化手法と比較して性能が好適であることを示す。
重要なことに、この方法は様々な問題に対するデフォルトパラメータのセットで非常に頑健であり、さらにadamのような他の適応勾配法よりも優れた一般化性能が得られる。
関連論文リスト
- A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。
このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文 参考訳(メタデータ) (2022-11-26T09:06:15Z) - Bolstering Stochastic Gradient Descent with Model Building [0.0]
勾配降下法とその変種は、優れた収束率を達成するためのコア最適化アルゴリズムを構成する。
本稿では,前方ステップモデル構築に基づく新しいアルゴリズムを用いて,線探索の代替手法を提案する。
提案アルゴリズムは、よく知られたテスト問題において、より高速な収束とより優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-11-13T06:54:36Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳(メタデータ) (2021-11-01T15:43:36Z) - Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax
Problems [80.46370778277186]
大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。
通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。
サーバモデル。
等質な環境と異質な環境の両方において,その有効性を実証する。
論文 参考訳(メタデータ) (2021-06-18T09:42:05Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳(メタデータ) (2021-02-19T01:17:15Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳(メタデータ) (2020-12-28T17:19:32Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-07-20T12:07:48Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z) - Optimizing generalization on the train set: a novel gradient-based
framework to train parameters and hyperparameters simultaneously [0.0]
一般化は機械学習における中心的な問題である。
本稿では,新たなリスク尺度に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-06-11T18:04:36Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳(メタデータ) (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。