論文の概要: Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2307.10053v4
• Date: Sat, 12 Oct 2024 08:04:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:05:55.914437
• Title: Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization
• Title（参考訳）: 非滑らかな非凸最適化における大域的安定性を保証した確率的下降法
• Authors: Nachuan Xiao, Xiaoyin Hu, Kim-Chuan Toh,
• Abstract要約: まず、対応する微分包含物が強制的リャプノフ関数を許容する下次手法の一般的な枠組みについて検討する。 我々は,Lyapunov関数が非強制的であるような,幅広い下位段階の手法のグローバルな安定性を確立するためのフレームワークを提案するために,改良された分析法を開発した。
• 参考スコア（独自算出の注目度）: 3.0586855806896045
• License:
• Abstract: In this paper, we focus on providing convergence guarantees for stochastic subgradient methods in minimizing nonsmooth nonconvex functions. We first investigate the global stability of a general framework for stochastic subgradient methods, where the corresponding differential inclusion admits a coercive Lyapunov function. We prove that, for any sequence of sufficiently small stepsizes and approximation parameters, coupled with sufficiently controlled noises, the iterates are uniformly bounded and asymptotically stabilize around the stable set of its corresponding differential inclusion. Moreover, we develop an improved analysis to apply our proposed framework to establish the global stability of a wide range of stochastic subgradient methods, where the corresponding Lyapunov functions are possibly non-coercive. These theoretical results illustrate the promising potential of our proposed framework for establishing the global stability of various stochastic subgradient methods.
• Abstract（参考訳）: 本稿では,非滑らかな非凸関数の最小化において,確率的下次法に対する収束保証を提供することに焦点をあてる。 まず、確率的下次手法の一般フレームワークのグローバルな安定性について検討し、対応する微分包含は余剰なリャプノフ函数を許容する。 十分小さなステップサイズと近似パラメータの任意の列に対して、十分に制御されたノイズと組み合わせて、これらの繰り返しは一様有界かつ漸近的にその対応する差分包有物の安定な集合の周りに安定化されていることを証明した。 さらに,Lyapunov関数が非強制的であるような,幅広い確率的下位段階法のグローバル安定性を確立するために,提案手法を適用するための改良された解析法を開発した。 これらの理論的結果は,様々な確率的下次手法のグローバルな安定性を確立するための,提案手法の有望な可能性を示している。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima [0.0]
  非孤立ミニマは、未探索のままのユニークな挑戦を示す。 本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
  論文  参考訳（メタデータ） (2022-03-21T13:33:37Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。