論文の概要: Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2002.05359v1
• Date: Thu, 13 Feb 2020 05:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:07:36.165417
• Title: Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization
• Title（参考訳）: 非凸最適化に対する確率勾配法の適応性
• Authors: Samuel Horv\'ath, Lihua Lei, Peter Richt\'arik, Michael I. Jordan
• Abstract要約: 適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
• 参考スコア（独自算出の注目度）: 71.03797261151605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptivity is an important yet under-studied property in modern optimization theory. The gap between the state-of-the-art theory and the current practice is striking in that algorithms with desirable theoretical guarantees typically involve drastically different settings of hyperparameters, such as step-size schemes and batch sizes, in different regimes. Despite the appealing theoretical results, such divisive strategies provide little, if any, insight to practitioners to select algorithms that work broadly without tweaking the hyperparameters. In this work, blending the "geometrization" technique introduced by Lei & Jordan 2016 and the \texttt{SARAH} algorithm of Nguyen et al., 2017, we propose the Geometrized \texttt{SARAH} algorithm for non-convex finite-sum and stochastic optimization. Our algorithm is proved to achieve adaptivity to both the magnitude of the target accuracy and the Polyak-\L{}ojasiewicz (PL) constant if present. In addition, it achieves the best-available convergence rate for non-PL objectives simultaneously while outperforming existing algorithms for PL objectives.
• Abstract（参考訳）: 適応性は現代の最適化理論において重要だが未熟な性質である。 最先端の理論と現在の実践の間のギャップは、望ましい理論的保証を持つアルゴリズムが、通常、ステップサイズスキームやバッチサイズといったハイパーパラメータの設定を、異なるレジームで大きく異なることにある。 魅力的な理論的な結果にもかかわらず、このような分割戦略は、ハイパーパラメータを微調整することなく広く機能するアルゴリズムを実践者に選択するための洞察をほとんど提供しない。 本研究では,Lei & Jordan 2016 が導入した「ゲメトリゼーション」手法と Nguyen らの \texttt{SARAH} アルゴリズムを融合し,非凸有限サムおよび確率最適化のためのGeometrized \texttt{SARAH} アルゴリズムを提案する。 本手法は, 目標精度とポリak-\l{}ojasiewicz (pl) 定数の両方に適応できることが証明された。 さらに、PL目標に対する既存のアルゴリズムよりも優れつつ、PL目標に対する最良の収束率を同時に達成する。

関連論文リスト

• A novel algorithm for optimizing bundle adjustment in image sequence alignment [6.322876598831792]
  本稿では,低温電子トモグラフィーにおける画像シーケンスアライメントの文脈におけるバンドル調整(BA)モデルを最適化するための新しいアルゴリズムを提案する。 アルゴリズムの性能を評価するために、合成データセットと実世界のデータセットの両方に関する大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-11-10T03:19:33Z)
• Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
  本研究では,スムーズな目的関数に対するアルゴリズムの非制約パラメトリゼーションを提案する。 特に、私たちのフレームワークは自動微分ツールと直接互換性があります。
  論文  参考訳（メタデータ） (2024-03-14T13:40:26Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Optimistic Optimisation of Composite Objective with Exponentiated Update [2.1700203922407493]
  このアルゴリズムは指数勾配と$p$-normアルゴリズムの組み合わせと解釈できる。 彼らはシーケンス依存の後悔の上界を達成し、スパース目標決定変数の最もよく知られた境界と一致する。
  論文  参考訳（メタデータ） (2022-08-08T11:29:55Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。