論文の概要: Acceleration Methods
- arxiv url: http://arxiv.org/abs/2101.09545v2
- Date: Thu, 11 Mar 2021 18:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 10:39:21.813970
- Title: Acceleration Methods
- Title（参考訳）: 加速方法
- Authors: Alexandre d'Aspremont, Damien Scieur and Adrien Taylor
- Abstract要約: まず,二次最適化問題を用いて,モメンタムとネスト正則性最適化スキームという2つの主要な手法を導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
次に、emphCatalystとemphAccelerated Hybrid Proximal Extragradientフレームワークの中心にある加速度技術をカバーする。
- 参考スコア（独自算出の注目度）: 87.07695512525717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This monograph covers some recent advances on a range of acceleration
techniques frequently used in convex optimization. We first use quadratic
optimization problems to introduce two key families of methods, momentum and
nested optimization schemes, which coincide in the quadratic case to form the
Chebyshev method whose complexity is analyzed using Chebyshev polynomials.
We discuss momentum methods in detail, starting with the seminal work of
Nesterov (1983) and structure convergence proofs using a few master templates,
such as that of \emph{optimized gradient methods} which have the key benefit of
showing how momentum methods maximize convergence rates.
We further cover proximal acceleration techniques, at the heart of the
\emph{Catalyst} and \emph{Accelerated Hybrid Proximal Extragradient}
frameworks, using similar algorithmic patterns.
Common acceleration techniques directly rely on the knowledge of some
regularity parameters of the problem at hand, and we conclude by discussing
\emph{restart} schemes, a set of simple techniques to reach nearly optimal
convergence rates while adapting to unobserved regularity parameters.
- Abstract（参考訳）: このモノグラフは、凸最適化に頻繁に使用される加速技術に関する最近の進歩をカバーしている。
まず、2次最適化問題を用いて、運動量とネスト最適化スキームの2つの主要なファミリーを導入し、これは2次の場合と一致して、複雑性をチェビシェフ多項式を用いて解析するチェビシェフ法を形成する。
我々は、Nesterov (1983) のセミナルな研究から始まり、モーメント手法が収束率を最大化する方法を示す重要な利点である \emph{optimized gradient method} のようないくつかのマスターテンプレートを用いた構造収束証明を詳細に論じる。
さらに、類似のアルゴリズムパターンを用いて、emph{Catalyst} および \emph{Accelerated Hybrid Proximal Extragradient} フレームワークの心臓部において、近位加速度技術をカバーする。
一般的な加速度手法は問題の正規性パラメータの知識に直接依存し、観測されていない正規性パラメータに適応しながらほぼ最適な収束率に達するための単純な手法である \emph{restart} スキームについて論じる。
関連論文リスト
- Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳（メタデータ） (2024-02-04T05:54:51Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Formal guarantees for heuristic optimization algorithms used in machine
learning [6.978625807687497]
グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。
本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
論文 参考訳（メタデータ） (2022-07-31T19:41:22Z) - A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文 参考訳（メタデータ） (2021-06-04T20:21:53Z) - Accelerated, Optimal, and Parallel: Some Results on Model-Based
Stochastic Optimization [33.71051480619541]
凸最適化問題を解決するためのモデルベース手法の近似近位点(aProx)ファミリを拡張します。
我々は、非漸近収束保証と、ミニバッチサイズの線形スピードアップを提供する加速スキームを提供する。
我々は,「補間」問題に対する新しい基本定数を同定し,収束率の改善と下界の整合性を示す。
論文 参考訳（メタデータ） (2021-01-07T18:58:39Z) - A Unified Analysis of First-Order Methods for Smooth Games via Integral
Quadratic Constraints [10.578409461429626]
本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。
我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。
一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
論文 参考訳（メタデータ） (2020-09-23T20:02:00Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z) - Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart
for Nonconvex Optimization [73.38702974136102]
アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。
本論文では,非滑らかな問題を解くアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:06:27Z) - Average-case Acceleration Through Spectral Density Estimation [35.01931431231649]
ランダム2次問題の平均ケース解析のためのフレームワークを開発する。
この分析で最適なアルゴリズムを導出する。
我々は, 均一性, マルテンコ・パストゥル, 指数分布の明示的アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-02-12T01:44:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。