Fugu-MT 論文翻訳(概要): The Power of Factorial Powers: New Parameter settings for (Stochastic) Optimization

論文の概要: The Power of Factorial Powers: New Parameter settings for (Stochastic) Optimization

arxiv url: http://arxiv.org/abs/2006.01244v3
Date: Tue, 11 Apr 2023 18:56:47 GMT
ステータス: 処理完了
システム内更新日: 2023-04-13 20:23:46.270521
Title: The Power of Factorial Powers: New Parameter settings for (Stochastic) Optimization
Title（参考訳）: 因子パワーのパワー:(確率的)最適化のための新しいパラメータ設定
Authors: Aaron Defazio and Robert M. Gower
Abstract要約: これらのシーケンスが楽しむ多くの顕著な特性をリストアップし、運動量法、加速速度、分散還元法(SVRG)を単純化するためにそれらを適用することができる。本研究では、収束証明に現れる定数を定義するための柔軟なツールとして、分解力の使用を提案する。
参考スコア（独自算出の注目度）: 18.046669772867446
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The convergence rates for convex and non-convex optimization methods depend on the choice of a host of constants, including step sizes, Lyapunov function constants and momentum constants. In this work we propose the use of factorial powers as a flexible tool for defining constants that appear in convergence proofs. We list a number of remarkable properties that these sequences enjoy, and show how they can be applied to convergence proofs to simplify or improve the convergence rates of the momentum method, accelerated gradient and the stochastic variance reduced method (SVRG).
Abstract（参考訳）: 凸最適化法と非凸最適化法の収束率は、ステップサイズ、リアプノフ関数定数、運動量定数を含む定数のホストの選択に依存する。本研究では,収束証明に現れる定数を定義するための柔軟なツールとして,因子の力を用いることを提案する。これらの列が楽しむ多くの顕著な特性をリストアップし、モーメント法、加速度勾配、確率分散低減法(SVRG)の収束率を単純化または改善するために収束証明に適用する方法を示す。

関連論文リスト

Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。我々はこれらの不変カーネルの最大情報ゲインを導出する。核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
論文参考訳（メタデータ） (2024-10-22T12:51:46Z)
Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文参考訳（メタデータ） (2024-05-26T12:25:09Z)
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文参考訳（メタデータ） (2023-08-31T14:16:30Z)
On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文参考訳（メタデータ） (2022-09-29T14:44:40Z)
Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
論文参考訳（メタデータ） (2021-12-02T16:04:40Z)
A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip [23.519404358187156]
連続時間パラメータで変数をインデックス化したNesterov加速度の近変種である連続Nesterov加速度を導入する。離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。非同期ゴシップアルゴリズムの最初の厳密な高速化を提供する。
論文参考訳（メタデータ） (2021-06-10T08:35:55Z)
Statistical Guarantees and Algorithmic Convergence Issues of Variational Boosting [6.9827388859232045]
我々は、小さな帯域幅のガウス混合変分族を提案することにより、ベイズ変分増分を保証する。変動アルゴリズムとしてFrank-Wolfe最適化の関数型を用いる。変動族と不一致測度の選択が収束と有限サンプル統計特性の両方にどのように影響するかを示す。
論文参考訳（メタデータ） (2020-10-19T14:12:36Z)
The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文参考訳（メタデータ） (2020-06-06T19:08:05Z)
Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。これは加速収束を示すアルゴリズムの特性を提供する。
論文参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。