論文の概要: A Study of Condition Numbers for First-Order Optimization

• arxiv url: http://arxiv.org/abs/2012.05782v2
• Date: Fri, 25 Dec 2020 17:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 13:00:24.396535
• Title: A Study of Condition Numbers for First-Order Optimization
• Title（参考訳）: 一階最適化のための条件数の検討
• Authors: Charles Guille-Escuret and Baptiste Goujaud and Manuela Girotti and Ioannis Mitliagkas
• Abstract要約: 我々は*-ノルムと呼ばれる新しいノルムによって定量化された摂動のクラスを導入する。 滑らかさと強い凸性は任意に小さい摂動に強く影響される。 本稿では,ロバストなチューニング戦略に不可欠なメトリクスの連続性の概念を提案する。
• 参考スコア（独自算出の注目度）: 12.072067586666382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study of first-order optimization algorithms (FOA) typically starts with assumptions on the objective functions, most commonly smoothness and strong convexity. These metrics are used to tune the hyperparameters of FOA. We introduce a class of perturbations quantified via a new norm, called *-norm. We show that adding a small perturbation to the objective function has an equivalently small impact on the behavior of any FOA, which suggests that it should have a minor impact on the tuning of the algorithm. However, we show that smoothness and strong convexity can be heavily impacted by arbitrarily small perturbations, leading to excessively conservative tunings and convergence issues. In view of these observations, we propose a notion of continuity of the metrics, which is essential for a robust tuning strategy. Since smoothness and strong convexity are not continuous, we propose a comprehensive study of existing alternative metrics which we prove to be continuous. We describe their mutual relations and provide their guaranteed convergence rates for the Gradient Descent algorithm accordingly tuned. Finally we discuss how our work impacts the theoretical understanding of FOA and their performances.
• Abstract（参考訳）: 1次最適化アルゴリズム(FOA)の研究は、典型的には目的関数、最も一般的な滑らかさ、強い凸性に関する仮定から始まる。 これらのメトリクスは、foaのハイパーパラメータのチューニングに使用される。 我々は*-ノルムと呼ばれる新しいノルムによって定量化された摂動のクラスを導入する。 目的関数に小さな摂動を加えると、任意のFOAの挙動に同等に小さな影響を与えることが示され、アルゴリズムのチューニングに小さな影響を与えることが示唆された。 しかし, ゆるやかさと強い凸性は任意に小さな摂動によって大きく影響し, 過度に保守的なチューニングや収束の問題を引き起こす。 これらの観測から,ロバストなチューニング戦略に不可欠なメトリクスの連続性の概念を提案する。 滑らかさと強い凸性は連続ではないので,既存の代替指標を包括的に研究し,連続であることを証明する。 そこで我々は,それらの相互関係を記述し,グラディエント・Descentアルゴリズムに対する収束率を調整した。 最後に、我々の研究がFOAとその性能の理論的理解に与える影響について論じる。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Improving Kernel-Based Nonasymptotic Simultaneous Confidence Bands [0.0]
  本報告では,非漸近的かつ非漸近的保証を伴う非パラメトリック同時信頼バンドの構築問題について検討する。 このアプローチは、パーリー・ウィーナー核がヒルベルト空間を再現する理論に基づいている。
  論文  参考訳（メタデータ） (2024-01-28T22:43:33Z)
• Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
  我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。 更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-28T12:13:57Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Large deviations rates for stochastic gradient descent with strongly convex functions [11.247580943940916]
  勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。 強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
  論文  参考訳（メタデータ） (2022-11-02T09:15:26Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization [36.182992409810446]
  本稿では,非最適化問題における雑音の重要性について考察する。 勾配勾配勾配は、入射雑音によって決定される大域バイアスに収束する任意の大域的な形式に収束できることを示す。
  論文  参考訳（メタデータ） (2021-02-24T17:50:17Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。