論文の概要: Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
- arxiv url: http://arxiv.org/abs/2510.04446v1
- Date: Mon, 06 Oct 2025 02:35:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.659098
- Title: Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
- Title（参考訳）: 確率的非凸非滑らかな合成最適化のためのゼロ階法
- Authors: Ziyi Chen, Peiran Yu, Heng Huang,
- Abstract要約: 合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。
本研究では,この問題に対する2つの新しいアルゴリズムを提案する。
これらのアルゴリズムは数値実験により有効であることを示す。
- 参考スコア（独自算出の注目度）: 51.63258496873442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work aims to solve a stochastic nonconvex nonsmooth composite optimization problem. Previous works on composite optimization problem requires the major part to satisfy Lipschitz smoothness or some relaxed smoothness conditions, which excludes some machine learning examples such as regularized ReLU network and sparse support matrix machine. In this work, we focus on stochastic nonconvex composite optimization problem without any smoothness assumptions. In particular, we propose two new notions of approximate stationary points for such optimization problem and obtain finite-time convergence results of two zeroth-order algorithms to these two approximate stationary points respectively. Finally, we demonstrate that these algorithms are effective using numerical experiments.
- Abstract（参考訳）: 本研究の目的は,確率的非凸非滑らかな合成最適化問題の解決である。
複合最適化問題に関するこれまでの研究は、リプシッツの滑らかさや緩和された滑らかさ条件を満たすために主要な部分を必要としており、正規化されたReLUネットワークやスパースサポートマトリックスマシンのような機械学習の例は除外されている。
本研究では,スムーズな仮定を伴わない確率的非凸合成最適化問題に焦点をあてる。
特に、そのような最適化問題に対する近似定常点の2つの新しい概念を提案し、これら2つの近似定常点に対する2つのゼロ階アルゴリズムの有限時間収束結果を得る。
最後に,これらのアルゴリズムは数値実験により有効であることを示す。
関連論文リスト
- Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [64.99236464953032]
我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。
O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
論文 参考訳（メタデータ） (2025-06-03T06:31:59Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization [34.628967272528044]
本稿では,制約付きマルチレベル最適化関数に対するプロジェクションフリーアルゴリズムについて検討する。
段階的適応を用いて凸関数と強凸関数の複素数を求める。
論文 参考訳（メタデータ） (2024-06-06T06:56:56Z) - Self-concordant Smoothing for Large-Scale Convex Composite Optimization [0.0]
2つの凸関数の和を最小化する自己協和スムージングの概念を導入し、そのうちの1つは滑らかであり、もう1つは非滑らかである。
本稿では, 近位ニュートンアルゴリズムであるProx-N-SCOREと近位一般化したガウスニュートンアルゴリズムであるProx-GGN-SCOREの2つのアルゴリズムの収束性を証明する。
論文 参考訳（メタデータ） (2023-09-04T19:47:04Z) - Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Distributed Stochastic Consensus Optimization with Momentum for
Nonconvex Nonsmooth Problems [45.88640334610308]
本稿では,非滑らかな問題に対する分散最適化アルゴリズムを提案する。
提案アルゴリズムは,過度な通信を実現することができることを示す。
提案アルゴリズムの有効性を示す実験を行った。
論文 参考訳（メタデータ） (2020-11-10T13:12:21Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。