論文の概要: On Uniform Boundedness Properties of SGD and its Momentum Variants

• arxiv url: http://arxiv.org/abs/2201.10245v1
• Date: Tue, 25 Jan 2022 11:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 01:29:22.012732
• Title: On Uniform Boundedness Properties of SGD and its Momentum Variants
• Title（参考訳）: SGDとそのモメンタムバリアントの均一性について
• Authors: Xiaoyu Wang and Mikael Johansson
• Abstract要約: 勾配勾配勾配アルゴリズムの軌道に沿った反復率と関数値の均一な有界性について検討する。 広範に使われているステップデカイやコサインを含むステップサイズファミリーがステップサイズを再起動する(あるいは使用しない)ことは、一様有界な反復と関数値をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 38.41217525394239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A theoretical, and potentially also practical, problem with stochastic gradient descent is that trajectories may escape to infinity. In this note, we investigate uniform boundedness properties of iterates and function values along the trajectories of the stochastic gradient descent algorithm and its important momentum variant. Under smoothness and $R$-dissipativity of the loss function, we show that broad families of step-sizes, including the widely used step-decay and cosine with (or without) restart step-sizes, result in uniformly bounded iterates and function values. Several important applications that satisfy these assumptions, including phase retrieval problems, Gaussian mixture models and some neural network classifiers, are discussed in detail.
• Abstract（参考訳）: 確率勾配降下に関する理論的、潜在的に実用的な問題は、軌道が無限大に逃れることである。 本稿では,逐次勾配降下アルゴリズムとその重要な運動量変化の軌跡に沿ったイテレートと関数値の一様有界性について検討する。 損失関数の滑らかさとr$-分散性の下では、広く使われているステップデケイやコサインを含む幅広いステップサイズ族がステップサイズを再開する(またはしない)ことにより、一様に有界なイテレートと関数値が得られる。 これらの仮定を満たすいくつかの重要な応用として、位相探索問題、ガウス混合モデル、ニューラルネットワーク分類器について詳述する。

関連論文リスト

• Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks [8.058385158111207]
  我々は、勾配ハミルトニアンモンテカルロのWasserstein-1 と Wasserstein-2 距離の目標測度への収束の非漸近解析を提供する。 本研究の主な成果を説明するために、定量推定に関する数値実験と、金融と人工知能に関連するReLUニューラルネットワークに関わるいくつかの問題について考察する。
  論文  参考訳（メタデータ） (2024-09-25T17:21:09Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
  本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。 我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
  論文  参考訳（メタデータ） (2023-11-28T17:03:56Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
  ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。 特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
  論文  参考訳（メタデータ） (2022-06-23T08:29:17Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。