Fugu-MT 論文翻訳(概要): Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization

論文の概要: Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization

arxiv url: http://arxiv.org/abs/2011.12392v1
Date: Tue, 24 Nov 2020 21:20:53 GMT
ステータス: 処理完了
システム内更新日: 2022-09-21 12:52:34.508266
Title: Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization
Title（参考訳）: Geom-SPIDER-EM:非凸有限和最適化のための高速変動低減確率予測最大化
Authors: Gersende Fort (IMT), Eric Moulines (X-DEP-MATHAPP), Hoi-To Wai
Abstract要約: 本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。 SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
参考スコア（独自算出の注目度）: 21.81837334970773
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Expectation Maximization (EM) algorithm is a key reference for inference in latent variable models; unfortunately, its computational cost is prohibitive in the large scale learning setting. In this paper, we propose an extension of the Stochastic Path-Integrated Differential EstimatoR EM (SPIDER-EM) and derive complexity bounds for this novel algorithm, designed to solve smooth nonconvex finite-sum optimization problems. We show that it reaches the same state of the art complexity bounds as SPIDER-EM; and provide conditions for a linear rate of convergence. Numerical results support our findings.
Abstract（参考訳）: 予測最大化(EM)アルゴリズムは、潜在変数モデルにおける推論の鍵となる参照であり、残念ながら、その計算コストは大規模学習環境では禁じられている。本稿では, 確率的経路積分型微分推定器em(spider-em)の拡張を提案し, 滑らかな非凸有限サム最適化問題を解くために設計されたこのアルゴリズムの複雑性境界を導出する。本研究では, SPIDER-EM と同値のアート複雑性に到達し, 収束率の線形条件を提供する。数値的な結果は我々の発見を裏付ける。

関連論文リスト

Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization [5.319361976450982]
本稿では,特定の種類のEMアルゴリズムの収束を保証する一連の条件を紹介する。本研究では,混合整数非線形最適化問題の解法として,反復アルゴリズムの新しい解析手法を提案する。
論文参考訳（メタデータ） (2024-01-31T11:42:46Z)
Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文参考訳（メタデータ） (2023-10-18T10:29:58Z)
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization [3.867143522757309]
この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-22T00:37:44Z)
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization [0.0]
3P-SP-IDERは、有限和非逆ロジスティック方程式を解くために設計された新しいアルゴリズムである。我々は, 3P-SP-IDER が事前条件付きを拡張し, ケースフォワード演算子へのインクリメンタル最大化アルゴリズムをクローズド形式で計算できないことを示す。また、3P-SP-IDERの設計パラメータがランダムな効果を持つ回帰モデルにおける推論に果たす役割についても論じる。
論文参考訳（メタデータ） (2023-01-02T12:49:48Z)
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-12-19T14:48:54Z)
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。決定集合の低次元構造を高次元問題に活用する。
論文参考訳（メタデータ） (2022-11-21T18:31:43Z)
Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。予測と高い確率で、新しい過剰なリスク境界を提供する。我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
論文参考訳（メタデータ） (2022-11-03T12:40:24Z)
SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization [11.15617238382324]
SPIRAL は有限和問題に対する収束pRoximal algogomrithor である。軽微な仮定の下では顕著な収束がある。それは芸術の状況に競争力がある。
論文参考訳（メタデータ） (2022-07-17T14:58:06Z)
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文参考訳（メタデータ） (2020-10-31T21:35:42Z)
Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文参考訳（メタデータ） (2020-06-16T19:57:48Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。