論文の概要: Improving Stochastic Cubic Newton with Momentum
- arxiv url: http://arxiv.org/abs/2410.19644v1
- Date: Fri, 25 Oct 2024 15:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-28 13:33:30.168909
- Title: Improving Stochastic Cubic Newton with Momentum
- Title（参考訳）: モーメントによる確率立方体ニュートンの改良
- Authors: El Mahdi Chayti, Nikita Doikov, Martin Jaggi,
- Abstract要約: モーメントが推定値の分散を確実に安定化させることを示す。
グローバリゼーション手法を用いて収束点を証明した。
また、運動量を持つ凸ニュートン法を示す。
- 参考スコア（独自算出の注目度）: 37.1630298053787
- License:
- Abstract: We study stochastic second-order methods for solving general non-convex optimization problems. We propose using a special version of momentum to stabilize the stochastic gradient and Hessian estimates in Newton's method. We show that momentum provably improves the variance of stochastic estimates and allows the method to converge for any noise level. Using the cubic regularization technique, we prove a global convergence rate for our method on general non-convex problems to a second-order stationary point, even when using only a single stochastic data sample per iteration. This starkly contrasts with all existing stochastic second-order methods for non-convex problems, which typically require large batches. Therefore, we are the first to demonstrate global convergence for batches of arbitrary size in the non-convex case for the Stochastic Cubic Newton. Additionally, we show improved speed on convex stochastic problems for our regularized Newton methods with momentum.
- Abstract（参考訳）: 一般の非凸最適化問題に対する確率的二階法について検討する。
本稿では,モーメントの特別なバージョンを用いて,ニュートン法における確率勾配とヘッセン推定の安定化を提案する。
モーメントは確率的推定の分散を良好に改善し,任意の雑音レベルに収束できることを示す。
立方晶正則化法を用いて,本手法の一般非凸問題に対する大域収束率を2次定常点へ証明する。
これは、通常大きなバッチを必要とする非凸問題に対する既存の確率的二階法と非常に対照的である。
したがって、確率立方ニュートンの非凸の場合において、任意のサイズのバッチに対する大域収束を初めて示す。
さらに, 運動量をもつ正規化ニュートン法において, 凸確率問題に対する改善速度を示す。
関連論文リスト
- Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods [0.3222802562733786]
ヘシアン・アブラッシングに基づくサブサンプルニュートン法による有限サム予測対象関数の最小化について検討する。
これらの方法は不有効であり、ヘッセン近似の固定コストがかかる。
本稿では,新しい解析手法を提案し,その実用化に向けた課題を提案する。
論文 参考訳（メタデータ） (2024-08-14T03:27:48Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。
グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
論文 参考訳（メタデータ） (2023-02-23T12:18:28Z) - Second-order optimization with lazy Hessians [55.51077907483634]
一般の非線形最適化問題を解くためにニュートンの遅延ヘッセン更新を解析する。
我々は、メソッドの各ステップで新しい勾配を計算しながら、これまで見られたヘッセン反復を再利用する。
論文 参考訳（メタデータ） (2022-12-01T18:58:26Z) - Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization
with Large Batches [22.925108493465363]
本稿では,二階法の利点をすべて享受する有限サム最小化アルゴリズムを提案する。
本稿では,SVRNが最小二乗解法(Subsampled Newtonなど)や反復最小二乗解法を高速化できることを示す。
論文 参考訳（メタデータ） (2022-06-06T16:00:18Z) - Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。
これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文 参考訳（メタデータ） (2022-05-27T00:34:03Z) - Hessian Averaging in Stochastic Newton Methods Achieves Superlinear
Convergence [69.65563161962245]
ニュートン法を用いて,滑らかで強凸な目的関数を考える。
最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
論文 参考訳（メタデータ） (2022-04-20T07:14:21Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Stochastic Subspace Cubic Newton Method [14.624340432672172]
本稿では,高次元凸関数$f$を最小化するランダム化二階最適化アルゴリズムを提案する。
ミニバッチサイズが変化するにつれて、SSCNのグローバル収束速度は座標降下速度(CD)と立方正規化ニュートン速度とを補間することを示した。
注目すべきことに、SSCN の局所収束速度は、次数関数 $frac12 (x-x*)top nabla2f(x*)(x-x*)$ の最小化問題に適用される部分空間降下率と一致する。
論文 参考訳（メタデータ） (2020-02-21T19:42:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。