論文の概要: A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition
- arxiv url: http://arxiv.org/abs/2608.05460v1
- Date: Wed, 05 Aug 2026 23:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.229383
- Title: A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition
- Title（参考訳）: クルディカ・ジョジャシエヴィチ条件下での非凸確率最適化の近次次法
- Abstract要約: 本研究は,期待されるコストの和を最小化するための近位次法を導入する。
クルディカ・ロジャシエヴィチ(KL)特性を用いて、全軌道の1つの定常点への収束を保証する。
- 参考スコア（独自算出の注目度）: 39.146761527401424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces a proximal stochastic subgradient method for minimizing the sum of an expected cost, whose integrand is potentially nonsmooth and nonconvex, and a lower semicontinuous, prox-bounded function. We target a broad class of integrands obeying a nonsmooth, localized variant of the descent lemma in the decision variable, a structural assumption that simultaneously covers smooth losses with Lipschitz gradient and differences of such losses with convex functions. At each iteration the expected cost is replaced by a sample average that is progressively refined, and the proximal-subgradient stepsize is selected by an Armijo-type line search enforcing a sufficient-decrease property up to stochastic errors induced by the sample-based approximation. This framework accommodates substantially more general problem formulations than existing methods, in particular, it requires neither (weak) convexity of the regularizer nor a uniform bound on the variance of the stochastic oracle, and our analysis yields convergence guarantees that are new even in the smooth setting. Specifically, we establish almost sure convergence of the sequence of function values and stationarity of every accumulation point of the trajectories under the relaxed requirement that the sample-size sequence be merely nondecreasing and unbounded, with no prescribed growth rate. Leveraging the Kurdyka-Lojasiewicz (KL) property, we further upgrade this subsequential guarantee to convergence of the whole trajectory to a single stationary point. Finally, for exponential-type KL desingularizing functions and polynomially growing sample sizes, we derive explicit polynomial convergence rates, up to a logarithmic factor, for both the function values and the iterates.
- Abstract（参考訳）: この研究は、期待されるコストの和を最小化し、その積分が潜在的に非滑らかで非凸であり、半連続でprox-有界な低い半連続な関数である確率的下次法を導入する。
リプシッツ勾配による滑らかな損失と凸関数によるそのような損失の差を同時にカバーする構造的仮定である。
各イテレーションにおいて、期待されるコストは、徐々に洗練されるサンプル平均に置き換わり、サンプルベースの近似によって引き起こされる確率誤差まで十分な劣化特性を付与するArmijo型線探索により、近次段階のステップサイズが選択される。
この枠組みは、既存の方法よりもはるかに一般的な問題定式化に対応しており、特に、正則化器の(弱)凸性や確率的オラクルの分散に一様でないことを必要としておらず、解析により、滑らかな設定でも新しい収束保証が得られる。
具体的には, 標本サイズ列は, 所定の成長速度を伴わず, 単に非減少・非有界である,という緩和条件の下で, 軌道の累積点の関数値列と定常性のほぼ確実に収束することを示す。
Kurdyka-Lojasiewicz (KL) 特性を活用することで、この後続の保証を、全軌道の収束を1つの定常点へ拡張する。
最後に、指数型KLデジンガライズ関数と多項式成長するサンプルサイズに対して、関数値と反復値の両方に対して対数係数までの明示的な多項式収束率を導出する。
関連論文リスト
- Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。
リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
論文 参考訳（メタデータ） (2025-07-11T15:36:48Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning [1.5229257192293195]
実験的リスクから集団リスクへのサブディファレンシャルマッピングの一様収束を非平滑,非評価,決定論的最適化を用いて検討した。
これらの保証は、堅牢な統計と関連する応用に起因する問題の幾何学に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2024-05-16T17:49:46Z) - Inexact subgradient methods for semialgebraic functions [18.293072574300798]
機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。
我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
論文 参考訳（メタデータ） (2024-04-30T12:47:42Z) - Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。
また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
論文 参考訳（メタデータ） (2023-10-21T00:03:54Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳（メタデータ） (2023-06-02T04:21:59Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳（メタデータ） (2022-11-20T12:29:06Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。