Fugu-MT 論文翻訳(概要): A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction

論文の概要: A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction

arxiv url: http://arxiv.org/abs/2204.00406v1
Date: Fri, 1 Apr 2022 13:08:49 GMT
ステータス: 処理完了
システム内更新日: 2022-04-04 19:27:16.948848
Title: A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
Title（参考訳）: 分散還元を用いた半滑らかなニュートン確率的近位点アルゴリズム
Authors: Andre Milzarek, Fabian Schaipp, Michael Ulbrich
Abstract要約: 弱凸, 複合最適化問題に対する実装可能な近位点(SPP)法を開発した。提案アルゴリズムは分散低減機構を組み込んでおり、その結果の更新は不正確なセミスムース・ニュートン・フレームワークを用いて解決される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We develop an implementable stochastic proximal point (SPP) method for a class of weakly convex, composite optimization problems. The proposed stochastic proximal point algorithm incorporates a variance reduction mechanism and the resulting SPP updates are solved using an inexact semismooth Newton framework. We establish detailed convergence results that take the inexactness of the SPP steps into account and that are in accordance with existing convergence guarantees of (proximal) stochastic variance-reduced gradient methods. Numerical experiments show that the proposed algorithm competes favorably with other state-of-the-art methods and achieves higher robustness with respect to the step size selection.
Abstract（参考訳）: 弱凸, 複合最適化問題に対して, 実装可能な確率的近位点(SPP)法を開発した。確率的近位点アルゴリズムは分散低減機構を導入し、その結果のSPP更新は不正確な半滑らかなニュートンフレームワークを用いて解決する。本研究では,spfステップの不正確性を考慮し,(近位)確率分散還元勾配法の既存の収束保証に従って,詳細な収束結果を確立する。数値実験により,提案アルゴリズムは他の最先端手法と良好に競合し,ステップサイズの選択に関して高いロバスト性を実現することが示された。

関連論文リスト

Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文参考訳（メタデータ） (2024-09-24T04:39:47Z)
A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文参考訳（メタデータ） (2024-05-24T21:09:19Z)
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method [5.025654873456757]
本論文は,提案手法の収束性に関する高い確率保証を得るために,低サンプリング複雑性を確立する。近位サブプロブレムを解くためにサブルーチンが開発され、分散還元のための新しい技術としても機能する。
論文参考訳（メタデータ） (2024-02-14T07:34:22Z)
Variance reduction techniques for stochastic proximal point algorithms [5.374800961359305]
そこで本研究では,近点アルゴリズムにおける分散低減手法の統一化研究を提案する。我々は,SVRG,SAGA,およびそれらの変種の近位バージョンを提供するために特定可能な,汎用的近位アルゴリズムを提案する。本実験は, 勾配法よりも近似分散還元法の利点を実証する。
論文参考訳（メタデータ） (2023-08-18T05:11:50Z)
A relaxed proximal gradient descent algorithm for convergent plug-and-play with proximal denoiser [6.2484576862659065]
本稿では,新しいコンバーゼントなPlug-and-fidelity Descent (Play)アルゴリズムを提案する。このアルゴリズムは、より広い範囲の通常の凸化パラメータに収束し、画像のより正確な復元を可能にする。
論文参考訳（メタデータ） (2023-01-31T16:11:47Z)
Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-30T18:54:54Z)
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文参考訳（メタデータ） (2022-02-26T19:10:48Z)
A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:51:10Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文参考訳（メタデータ） (2020-06-11T18:49:06Z)
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation [26.11677569331688]
本稿では,ネットワーク内のエージェントの総和の分散アルゴリズム最小化のための新しいフレームワークを提案する。提案手法は分散ニューラルネットワークに適用可能であることを示す。
論文参考訳（メタデータ） (2020-04-30T15:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。