論文の概要: META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions

• arxiv url: http://arxiv.org/abs/2209.14853v1
• Date: Thu, 29 Sep 2022 15:12:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 18:13:17.463568
• Title: META-STORM: Generalized Fully-Adaptive Variance Reduced SGD for Unbounded Functions
• Title（参考訳）: META-STORM:非有界関数に対する一般化完全適応変数還元SGD
• Authors: Zijian Liu, Ta Duy Nguyen, Thien Hang Nguyen, Alina Ene, Huy L. Nguyen
• Abstract要約: 最近の研究は「メガバッチ」の勾配を計算する効果を克服している 作業は、競争力のあるディープラーニングタスクで更新された後に広く使用される。
• 参考スコア（独自算出の注目度）: 23.746620619512573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the application of variance reduction (VR) techniques to general non-convex stochastic optimization problems. In this setting, the recent work STORM [Cutkosky-Orabona '19] overcomes the drawback of having to compute gradients of "mega-batches" that earlier VR methods rely on. There, STORM utilizes recursive momentum to achieve the VR effect and is then later made fully adaptive in STORM+ [Levy et al., '21], where full-adaptivity removes the requirement for obtaining certain problem-specific parameters such as the smoothness of the objective and bounds on the variance and norm of the stochastic gradients in order to set the step size. However, STORM+ crucially relies on the assumption that the function values are bounded, excluding a large class of useful functions. In this work, we propose META-STORM, a generalized framework of STORM+ that removes this bounded function values assumption while still attaining the optimal convergence rate for non-convex optimization. META-STORM not only maintains full-adaptivity, removing the need to obtain problem specific parameters, but also improves the convergence rate's dependency on the problem parameters. Furthermore, META-STORM can utilize a large range of parameter settings that subsumes previous methods allowing for more flexibility in a wider range of settings. Finally, we demonstrate the effectiveness of META-STORM through experiments across common deep learning tasks. Our algorithm improves upon the previous work STORM+ and is competitive with widely used algorithms after the addition of per-coordinate update and exponential moving average heuristics.
• Abstract（参考訳）: 分散還元法(VR)の一般非凸確率最適化問題への適用について検討する。 この設定では、最近のSTORM(Cutkosky-Orabona '19)は、以前のVRメソッドが依存していた"メガバッチ"の勾配を計算することの欠点を克服している。 そこでstormは、vr効果を達成するために再帰的モーメントを利用し、後にstorm+ (levy et al., '21]) で完全に適応する。完全適応性は、ステップサイズを設定するために、目的の滑らかさや確率勾配の分散とノルムに対する境界といった、特定の問題固有のパラメータを取得する必要をなくす。 しかし、storm+ は、関数の値が有界であるという仮定に大きく依存しており、有用な関数の大きなクラスは除いている。 本研究では,非凸最適化のための最適収束率を保ちながら,この有界関数値仮定を解消する,storm+の一般化フレームワークであるmeta-stormを提案する。 META-STORMは完全な適応性を維持し、問題固有のパラメータを取得する必要をなくすだけでなく、問題パラメータへの収束率の依存性を改善する。 さらに、META-STORMは、以前のメソッドを仮定する幅広いパラメータ設定を利用することができ、より広い範囲の設定でより柔軟にすることができる。 最後に,共通の深層学習タスクにおける実験を通して,メタストームの有効性を示す。 提案アルゴリズムは,従来のSTORM+を改良し,コーディネート毎の更新と指数移動平均ヒューリスティックスを加えた後,広く使われているアルゴリズムと競合する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators [1.6385815610837167]
  上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。 Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。 提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
  論文  参考訳（メタデータ） (2023-11-25T23:36:38Z)
• Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
  ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。 特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。 また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:39:06Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。