論文の概要: The Power of Factorial Powers: New Parameter settings for (Stochastic)
Optimization
- arxiv url: http://arxiv.org/abs/2006.01244v2
- Date: Tue, 20 Oct 2020 15:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 06:49:59.363694
- Title: The Power of Factorial Powers: New Parameter settings for (Stochastic)
Optimization
- Title(参考訳): 因子パワーのパワー:(確率的)最適化のための新しいパラメータ設定
- Authors: Aaron Defazio and Robert M. Gower
- Abstract要約: これらのシーケンスが楽しむ多くの顕著な特性をリストアップし、運動量法、加速速度、分散還元法(SVRG)を単純化するためにそれらを適用することができる。
本研究では、収束証明に現れる定数を定義するための柔軟なツールとして、分解力の使用を提案する。
- 参考スコア(独自算出の注目度): 18.046669772867446
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The convergence rates for convex and non-convex optimization methods depend
on the choice of a host of constants, including step sizes, Lyapunov function
constants and momentum constants. In this work we propose the use of factorial
powers as a flexible tool for defining constants that appear in convergence
proofs. We list a number of remarkable properties that these sequences enjoy,
and show how they can be applied to convergence proofs to simplify or improve
the convergence rates of the momentum method, accelerated gradient and the
stochastic variance reduced method (SVRG).
- Abstract(参考訳): 凸最適化法と非凸最適化法の収束率は、ステップサイズ、リアプノフ関数定数、運動量定数を含む定数のホストの選択に依存する。
本研究では,収束証明に現れる定数を定義するための柔軟なツールとして,因子の力を用いることを提案する。
これらの列が楽しむ多くの顕著な特性をリストアップし、モーメント法、加速度勾配、確率分散低減法(SVRG)の収束率を単純化または改善するために収束証明に適用する方法を示す。
関連論文リスト
- Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳(メタデータ) (2024-02-04T05:54:51Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳(メタデータ) (2023-08-31T14:16:30Z) - Convergence rates for momentum stochastic gradient descent with noise of
machine learning type [1.4213973379473654]
我々は、降下スキーム(MSGD)の運動量と、その連続的インタイム(continuous-in-time)の運動量を考える。
対象関数に対する目的関数値のほぼ指数収束性を示す。
論文 参考訳(メタデータ) (2023-02-07T15:59:08Z) - On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity,
Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。
まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。
第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文 参考訳(メタデータ) (2022-09-29T14:44:40Z) - Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent
Flows [4.817429789586127]
本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。
提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
論文 参考訳(メタデータ) (2021-12-02T16:04:40Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - A Continuized View on Nesterov Acceleration for Stochastic Gradient
Descent and Randomized Gossip [23.519404358187156]
連続時間パラメータで変数をインデックス化したNesterov加速度の近変種である連続Nesterov加速度を導入する。
離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。
非同期ゴシップアルゴリズムの最初の厳密な高速化を提供する。
論文 参考訳(メタデータ) (2021-06-10T08:35:55Z) - Statistical Guarantees and Algorithmic Convergence Issues of Variational
Boosting [6.9827388859232045]
我々は、小さな帯域幅のガウス混合変分族を提案することにより、ベイズ変分増分を保証する。
変動アルゴリズムとしてFrank-Wolfe最適化の関数型を用いる。
変動族と不一致測度の選択が収束と有限サンプル統計特性の両方にどのように影響するかを示す。
論文 参考訳(メタデータ) (2020-10-19T14:12:36Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳(メタデータ) (2020-06-06T19:08:05Z) - Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic
Perspectives [97.16266088683061]
この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。
これは加速収束を示すアルゴリズムの特性を提供する。
論文 参考訳(メタデータ) (2020-02-28T00:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。