論文の概要: Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization

• arxiv url: http://arxiv.org/abs/2301.00631v1
• Date: Mon, 2 Jan 2023 12:49:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 16:14:37.575819
• Title: Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
• Title（参考訳）: 非凸合成最適化のための分散化を伴う確率可変距離近位勾配
• Authors: Gersende Fort (IMT), Eric Moulines (CMAP)
• Abstract要約: 3P-SP-IDERは、有限和非逆ロジスティック方程式を解くために設計された新しいアルゴリズムである。 我々は, 3P-SP-IDER が事前条件付きを拡張し, ケースフォワード演算子へのインクリメンタル最大化アルゴリズムをクローズド形式で計算できないことを示す。 また、3P-SP-IDERの設計パラメータがランダムな効果を持つ回帰モデルにおける推論に果たす役割についても論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel algorithm, the Perturbed Proximal Preconditioned SPIDER algorithm (3P-SPIDER), designed to solve finite sum non-convex composite optimization. It is a stochastic Variable Metric Forward-Backward algorithm, which allows approximate preconditioned forward operator and uses a variable metric proximity operator as the backward operator; it also proposes a mini-batch strategy with variance reduction to address the finite sum setting. We show that 3P-SPIDER extends some Stochastic preconditioned Gradient Descent-based algorithms and some Incremental Expectation Maximization algorithms to composite optimization and to the case the forward operator can not be computed in closed form. We also provide an explicit control of convergence in expectation of 3P-SPIDER, and study its complexity in order to satisfy the epsilon-approximate stationary condition. Our results are the first to combine the composite non-convex optimization setting, a variance reduction technique to tackle the finite sum setting by using a minibatch strategy and, to allow deterministic or random approximations of the preconditioned forward operator. Finally, through an application to inference in a logistic regression model with random effects, we numerically compare 3P-SPIDER to other stochastic forward-backward algorithms and discuss the role of some design parameters of 3P-SPIDER.
• Abstract（参考訳）: 本稿では, 有限和非凸合成最適化のための新しいアルゴリズムであるPerturbed Proximal Preconditioned SPIDERアルゴリズム(3P-SPIDER)を提案する。 近似事前条件付きフォワード演算子を許容し、可変距離近接演算子を後方演算子として用いる確率的可変メトリックフォワードアルゴリズムであり、有限和設定に対処するために分散還元を伴うミニバッチ戦略も提案している。 3P-SPIDERは確率的事前条件付き勾配Descent-basedアルゴリズムと増分期待最大化アルゴリズムを拡張して合成最適化を行い、その場合フォワード演算子をクローズド形式で計算できないことを示す。 また,3P-SPIDERを期待して収束を明示的に制御し,その複雑さをエプシロン近似定常条件を満たすために検討する。 その結果, 合成非凸最適化設定, 有限和設定をミニバッチ戦略を用いて解き, 事前条件付きフォワード演算子の決定論的あるいはランダムな近似を可能にする分散低減手法を初めて組み合わせた。 最後に、ランダムな効果を持つロジスティック回帰モデルにおける推論への応用を通じて、3P-SPIDERを他の確率的前方向きアルゴリズムと比較し、3P-SPIDERの設計パラメータの役割について議論する。

関連論文リスト

• Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
  本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。 分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。 実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Reducing measurement costs by recycling the Hessian in adaptive variational quantum algorithms [0.0]
  本稿では,適応VQAに適した準ニュートン最適化プロトコルを提案する。 我々は,適応VQAの繰り返しを通じて,逆ヘッセン行列に対する近似を連続的に構築し,成長させる準ニュートンアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2024-01-10T14:08:04Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• The Perturbed Prox-Preconditioned SPIDER algorithm for EM-based large scale learning [0.0]
  大規模学習フレームワークのためのEM設計のために,増分期待最大化(EM)アルゴリズムを導入した。 本稿では,Perturbed Integral EstimatoR EM(SPIDER-EM)アルゴリズムをベースとした,Perturbed Prox-Preconditioned SPIDERという新しいアルゴリズムを提案する。 3P-SPIDERアルゴリズムは、EMのEステップの多くの難易度に対処し、非滑らかな正規化や凸制約も扱う。
  論文  参考訳（メタデータ） (2021-05-25T07:54:58Z)
• Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization [21.81837334970773]
  本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。 SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
  論文  参考訳（メタデータ） (2020-11-24T21:20:53Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。