論文の概要: SGD-type Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2307.10053v3
• Date: Tue, 14 May 2024 01:02:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 20:00:15.028143
• Title: SGD-type Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization
• Title（参考訳）: 非滑らかな非凸最適化における大域的安定性を保証したSGD型手法
• Authors: Nachuan Xiao, Xiaoyin Hu, Kim-Chuan Toh,
• Abstract要約: 次階降下(SGD)の変種に対する収束保証を提供する。 まず, 一般手法の下位段階法における大域的安定性を確立するための一般的な枠組みを開発する。 次に,正規化更新方向を持つ差分型手法の開発手法を提案する。
• 参考スコア（独自算出の注目度）: 3.0586855806896045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on providing convergence guarantees for variants of the stochastic subgradient descent (SGD) method in minimizing nonsmooth nonconvex functions. We first develop a general framework to establish global stability for general stochastic subgradient methods, where the corresponding differential inclusion admits a coercive Lyapunov function. We prove that, with sufficiently small stepsizes and controlled noises, the iterates asymptotically stabilize around the stable set of its corresponding differential inclusion. Then we introduce a scheme for developing SGD-type methods with regularized update directions for the primal variables. Based on our developed framework, we prove the global stability of our proposed scheme under mild conditions. We further illustrate that our scheme yields variants of SGD-type methods, which enjoy guaranteed convergence in training nonsmooth neural networks. In particular, by employing the sign map to regularize the update directions, we propose a novel subgradient method named the Sign-map Regularized SGD method (SRSGD). Preliminary numerical experiments exhibit the high efficiency of SRSGD in training deep neural networks.
• Abstract（参考訳）: 本稿では,非滑らかな非凸関数を最小化するために,確率的下降降下法(SGD)の変種に対する収束保証を提供することに焦点をあてる。 まず、一般確率的下次法に対する大域的安定性を確立するための一般的な枠組みを開発し、対応する微分包含は、強制的リャプノフ関数を許容する。 十分小さなステップサイズと制御された雑音により、繰り返しは対応する微分包摂の安定な集合の周りに漸近的に安定化することを示す。 そこで本研究では,初期変数の更新方向を正規化したSGD型手法の開発手法を提案する。 開発した枠組みに基づいて,提案手法の温和な条件下でのグローバルな安定性を実証する。 さらに,本手法は,非平滑ニューラルネットワークのトレーニングにおける収束性を保証するSGD型手法の変種を導出することを示す。 特に,更新方向を正規化するためにサインマップを用いることで,SRSGD法 (Sign-map Regularized SGD method) と呼ばれる新しい段階的手法を提案する。 予備的な数値実験は、深層ニューラルネットワークのトレーニングにおけるSRSGDの高効率性を示す。

関連論文リスト

• On the Selection Stability of Stability Selection and Its Applications [2.263635133348731]
  本稿では,安定度選択フレームワークの全体的な安定性を評価するため,確立された安定度推定器の利用を拡大することを目的とする。 安定性推定器は、得られた結果の堅牢性を反映する参照として機能し、安定性を向上させるために最適な正規化値を特定するのに役立つ。
  論文  参考訳（メタデータ） (2024-11-14T00:02:54Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima [0.0]
  非孤立ミニマは、未探索のままのユニークな挑戦を示す。 本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
  論文  参考訳（メタデータ） (2022-03-21T13:33:37Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。