Fugu-MT 論文翻訳(概要): Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings

論文の概要: Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings

arxiv url: http://arxiv.org/abs/2110.10710v1
Date: Wed, 20 Oct 2021 18:10:03 GMT
ステータス: 処理完了
システム内更新日: 2021-10-23 15:50:58.740995
Title: Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
Title（参考訳）: 確率的近似とオンライン学習設定における確率的学習率最適化
Authors: Theodoros Mamalis, Dusan Stipanovic, Petros Voulgaris
Abstract要約: 本研究では、最適化アルゴリズムの学習率に乗法性を適用し、学習速度スキームを創出する。本研究では,この学習率スキームを備えたグラディエントDescentの理論的収束結果を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, multiplicative stochasticity is applied to the learning rate of stochastic optimization algorithms, giving rise to stochastic learning-rate schemes. In-expectation theoretical convergence results of Stochastic Gradient Descent equipped with this novel stochastic learning rate scheme under the stochastic setting, as well as convergence results under the online optimization settings are provided. Empirical results consider the case of an adaptively uniformly distributed multiplicative stochasticity and include not only Stochastic Gradient Descent, but also other popular algorithms equipped with a stochastic learning rate. They demonstrate noticeable optimization performance gains, with respect to their deterministic-learning-rate versions.
Abstract（参考訳）: 本研究では,確率的最適化アルゴリズムの学習率に乗法的確率性を適用し,確率的学習率スキームを生み出した。確率的設定下での確率的学習率スキームを備えた確率的勾配降下の予測論的収束結果と、オンライン最適化設定下での収束結果を提供する。経験的結果は適応的に分布する乗法確率性の場合を考え、確率的勾配降下だけでなく、確率的学習率を備えた他の一般的なアルゴリズムも含む。彼らは決定論的学習率のバージョンに関して、顕著な最適化性能の向上を示している。

関連論文リスト

Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
一般最適化法の力学を近似した微分方程式のクラスを提案する。座標降下の場合の修正方程式の安定性について検討する。
論文参考訳（メタデータ） (2023-09-05T09:39:56Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates [0.0]
本稿では、グラディエント・ダイアンスの勾配空間収束率のほぼ全周収束率を用いて、大規模最適化問題を解く。特に、その学習速度は乗算学習率を備えている。
論文参考訳（メタデータ） (2021-10-25T04:27:35Z)
A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:51:10Z)
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
勾配情報のない制約のない最適化問題を考察する。適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
論文参考訳（メタデータ） (2021-09-24T21:49:25Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文参考訳（メタデータ） (2021-06-29T09:48:46Z)
Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization [47.93365664380274]
本稿では,新たに修正された構成勾配法(SCSC)を提案する。 SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成最適化のための勾配降下法(SGD)と同じ速度で収束することを保証している。
論文参考訳（メタデータ） (2020-08-25T06:54:00Z)
Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
論文参考訳（メタデータ） (2020-08-13T15:34:01Z)
Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文参考訳（メタデータ） (2020-03-15T21:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。