論文の概要: $\mu^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism

• arxiv url: http://arxiv.org/abs/2304.04172v1
• Date: Sun, 9 Apr 2023 06:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 17:21:17.508311
• Title: $\mu^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism
• Title（参考訳）: $\mu^2$-SGD: 二重モーメント機構による安定確率最適化
• Authors: Kfir Y. Levy
• Abstract要約: 目的が滑らかな関数に対する期待である凸最適化問題を考察する。 運動量の概念に関連する2つの最近のメカニズムを組み合わせた新しい勾配推定法を提案する。 これらの手法はノイズのない場合とノイズの多い場合の両方に対して最適な収束率が得られることを示す。
• 参考スコア（独自算出の注目度）: 12.709177728330399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider stochastic convex optimization problems where the objective is an expectation over smooth functions. For this setting we suggest a novel gradient estimate that combines two recent mechanism that are related to notion of momentum. Then, we design an SGD-style algorithm as well as an accelerated version that make use of this new estimator, and demonstrate the robustness of these new approaches to the choice of the learning rate. Concretely, we show that these approaches obtain the optimal convergence rates for both noiseless and noisy case with the same choice of fixed learning rate. Moreover, for the noisy case we show that these approaches achieve the same optimal bound for a very wide range of learning rates.
• Abstract（参考訳）: 目的が滑らかな関数に対する期待である確率凸最適化問題を考える。 この設定のために、運動量の概念に関連する2つの最近のメカニズムを組み合わせた新しい勾配推定を提案する。 そこで我々は,この新たな推定器を用いたSGDスタイルのアルゴリズムと高速化バージョンを設計し,学習率の選択に対するこれらの新しいアプローチの堅牢性を示す。 具体的には, 雑音のない場合と雑音の多い場合と, 一定の学習率を選択する場合の最適収束率を求める。 さらに,ノイズの多い場合において,この手法は,学習率の広い範囲において,同じ最適境界を達成できることを示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Rapid quantum approaches for combinatorial optimisation inspired by optimal state-transfer [3.591122855617648]
  そこで本稿では,ハミルトニアンにインスパイアされた最適状態伝達問題に対処する新しい設計を提案する。 我々はこの新デザインの成功の数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-01-17T12:45:09Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Minibatch and Momentum Model-based Methods for Stochastic Non-smooth Non-convex Optimization [3.4809730725241597]
  モデルベース手法に対する2つの重要な拡張を行う。 まず,各イテレーションのモデル関数を近似するために,サンプルの集合を用いる新しいミニバッチを提案する。 第二に、運動量法の成功により、新しい凸モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-06T05:31:57Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。