論文の概要: Convergence Guarantees for Stochastic Subgradient Methods in Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2307.10053v2
• Date: Mon, 4 Sep 2023 07:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 04:06:05.473859
• Title: Convergence Guarantees for Stochastic Subgradient Methods in Nonsmooth Nonconvex Optimization
• Title（参考訳）: 非滑らかな非凸最適化における確率的下位手法の収束保証
• Authors: Nachuan Xiao, Xiaoyin Hu, Kim-Chuan Toh
• Abstract要約: モーメント項と変数を更新するためのステップ化に異なる時間尺度を割り当てる新しいフレームワークを開発する。 提案手法は, ヘビーボールSGD, SignSGD, Lion, 正規化SGD, クリッピングSGDなど, 広く知られたSGD型手法を含む。 特に、これらのSGD型手法は、ランダムに選択されたステップサイズと初期点を持つ目的関数のクラーク定常点を求める。
• 参考スコア（独自算出の注目度）: 3.4376560669160394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the convergence properties of the stochastic gradient descent (SGD) method and its variants, especially in training neural networks built from nonsmooth activation functions. We develop a novel framework that assigns different timescales to stepsizes for updating the momentum terms and variables, respectively. Under mild conditions, we prove the global convergence of our proposed framework in both single-timescale and two-timescale cases. We show that our proposed framework encompasses a wide range of well-known SGD-type methods, including heavy-ball SGD, SignSGD, Lion, normalized SGD and clipped SGD. Furthermore, when the objective function adopts a finite-sum formulation, we prove the convergence properties for these SGD-type methods based on our proposed framework. In particular, we prove that these SGD-type methods find the Clarke stationary points of the objective function with randomly chosen stepsizes and initial points under mild assumptions. Preliminary numerical experiments demonstrate the high efficiency of our analyzed SGD-type methods.
• Abstract（参考訳）: 本稿では, 確率勾配降下法(sgd)法とその変種, 特に非運動活性化関数を用いたニューラルネットワークの学習において, 収束特性について検討する。 運動量項と変数をそれぞれ更新するためのステップ化に異なる時間スケールを割り当てる新しいフレームワークを開発した。 軽度条件下では, 単一時間スケールと2時間スケールのいずれにおいても, 提案するフレームワークのグローバルな収束が証明される。 提案手法は, ヘビーボールSGD, SignSGD, Lion, 正規化SGD, クリッピングSGDなど, 広く知られたSGD型手法を含む。 さらに、目的関数が有限サム定式化を採用すると、提案フレームワークに基づくこれらのSGD型手法の収束特性が証明される。 特に、これらのSGD型手法は、ランダムに選択されたステップサイズと初期点を持つ目的関数のクラーク定常点を求める。 予備数値実験により,sgd型解析法の高効率化が実証された。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima [0.0]
  非孤立ミニマは、未探索のままのユニークな挑戦を示す。 本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
  論文  参考訳（メタデータ） (2022-03-21T13:33:37Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。