論文の概要: Variance Reduction on Adaptive Stochastic Mirror Descent

• arxiv url: http://arxiv.org/abs/2012.13760v2
• Date: Mon, 19 Apr 2021 17:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 01:15:50.720096
• Title: Variance Reduction on Adaptive Stochastic Mirror Descent
• Title（参考訳）: 適応確率ミラー降下における分散低減
• Authors: Wenjie Li, Zhanyu Wang, Yichen Zhang, Guang Cheng
• Abstract要約: 分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。 深層学習における実験を用いてクレームの有効性を確認します。
• 参考スコア（独自算出の注目度）: 23.451652399157002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study the idea of variance reduction applied to adaptive stochastic mirror descent algorithms in the nonsmooth nonconvex finite-sum optimization problems. We propose a simple yet generalized adaptive mirror descent algorithm with variance reduction named SVRAMD and provide its convergence analysis in different settings. We prove that variance reduction reduces the SFO complexity of most adaptive mirror descent algorithms and accelerates their convergence. In particular, our general theory implies that variance reduction can be applied to algorithms using time-varying step sizes and self-adaptive algorithms such as AdaGrad and RMSProp. Moreover, the convergence rates of SVRAMD recover the best existing rates of non-adaptive variance reduced mirror descent algorithms. We check the validity of our claims using experiments in deep learning.
• Abstract（参考訳）: 本研究では,非滑らかな非凸有限サム最適化問題における適応確率的ミラー降下アルゴリズムに適用する分散低減の考え方について検討する。 本稿では,svramd という分散低減手法を用いた簡易かつ一般化した適応ミラー降下アルゴリズムを提案し,その収束解析を異なる設定で提供する。 分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。 特に,本理論は,時間変化ステップサイズとアダグラードやrmspropなどの自己適応アルゴリズムを用いて分散還元をアルゴリズムに適用できることを示す。 さらに、SVRAMDの収束速度は、非適応分散還元ミラー降下アルゴリズムの最良の既存速度を回復する。 深層学習における実験を用いて,クレームの有効性を確認した。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Computational Complexity of Sub-linear Convergent Algorithms [0.0]
  小サンプルから始めて幾何的に拡大し、前のサンプルの解を用いて新しいEMMを計算する方法について検討する。 これにより、線形収束の1次最適化アルゴリズムの問題を解決するが、計算の複雑さは小さくなる。
  論文  参考訳（メタデータ） (2022-09-29T05:38:06Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Bregman divergence based em algorithm and its application to classical and quantum rate distortion theory [61.12008553173672]
  本稿では,Bregman分散系における指数サブファミリーと混合サブファミリー間のBregman分散の最小化問題に対処する。 このアルゴリズムを量子設定を含む歪みとその変種の評価に適用する。
  論文  参考訳（メタデータ） (2022-01-07T13:33:28Z)
• Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize [20.376216873620763]
  比較的滑らかで滑らかな凸最適化の下でのミラー降下(SMD)の収束について検討した。 我々は、新しい適応的なステップサイズスキーム、ミラーポリアクステップサイズ(mSPS)を提案する。
  論文  参考訳（メタデータ） (2021-10-28T19:49:40Z)
• Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes [4.355567556995855]
  ステップサイズを小さくした有限サム最適化とサンプリングのための適応的重要度サンプリングのための簡易かつ効率的なアルゴリズムであるavareを提案する。 標準的な技術的条件下では、$mathcalO(T2/3)$と$mathcalO(T5/6)$の動的後悔をそれぞれ、$mathcalO(T5/6)$のステップサイズで実行するときに達成している。
  論文  参考訳（メタデータ） (2021-03-23T00:28:15Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• The Hessian Estimation Evolution Strategy [3.756550107432323]
  我々はヘッセン推定進化戦略と呼ばれる新しいブラックボックス最適化アルゴリズムを提案する。 アルゴリズムは、目的関数の曲率を直接推定することにより、サンプリング分布の共分散行列を更新する。
  論文  参考訳（メタデータ） (2020-03-30T08:01:16Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。