論文の概要: Acceleration Methods

• arxiv url: http://arxiv.org/abs/2101.09545v4
• Date: Tue, 24 Sep 2024 20:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:57:56.098002
• Title: Acceleration Methods
• Title（参考訳）: 加速法
• Authors: Alexandre d'Aspremont, Damien Scieur, Adrien Taylor,
• Abstract要約: まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
• 参考スコア（独自算出の注目度）: 57.202881673406324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This monograph covers some recent advances in a range of acceleration techniques frequently used in convex optimization. We first use quadratic optimization problems to introduce two key families of methods, namely momentum and nested optimization schemes. They coincide in the quadratic case to form the Chebyshev method. We discuss momentum methods in detail, starting with the seminal work of Nesterov and structure convergence proofs using a few master templates, such as that for optimized gradient methods, which provide the key benefit of showing how momentum methods optimize convergence guarantees. We further cover proximal acceleration, at the heart of the Catalyst and Accelerated Hybrid Proximal Extragradient frameworks, using similar algorithmic patterns. Common acceleration techniques rely directly on the knowledge of some of the regularity parameters in the problem at hand. We conclude by discussing restart schemes, a set of simple techniques for reaching nearly optimal convergence rates while adapting to unobserved regularity parameters.
• Abstract（参考訳）: このモノグラフは、凸最適化に頻繁に使用される加速技術における最近の進歩をカバーしている。 まず、2次最適化問題を用いて、モーメントとネスト最適化スキームという2つの主要な手法群を導入する。 これらは二次の場合と一致してチェビシェフ法を形成する。 モーメント法について、ネステロフのセミナルな研究から始まり、最適化された勾配法のようないくつかのマスターテンプレートを用いて構造収束証明を議論し、モーメント法が収束保証をいかに最適化するかを示す重要な利点を提供する。 さらに、同様のアルゴリズムパターンを用いて、CatalystおよびAccelerated Hybrid Proximal Extragradientフレームワークの心臓部において、近位加速度をさらにカバーする。 一般的な加速技術は、目の前の問題における正則性パラメータの知識に直接依存する。 我々は、観測されない正則性パラメータに適応しつつ、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。

関連論文リスト

• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization [33.71051480619541]
  凸最適化問題を解決するためのモデルベース手法の近似近位点(aProx)ファミリを拡張します。 我々は、非漸近収束保証と、ミニバッチサイズの線形スピードアップを提供する加速スキームを提供する。 我々は,「補間」問題に対する新しい基本定数を同定し,収束率の改善と下界の整合性を示す。
  論文  参考訳（メタデータ） (2021-01-07T18:58:39Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Average-case Acceleration Through Spectral Density Estimation [35.01931431231649]
  ランダム2次問題の平均ケース解析のためのフレームワークを開発する。 この分析で最適なアルゴリズムを導出する。 我々は, 均一性, マルテンコ・パストゥル, 指数分布の明示的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-12T01:44:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。