論文の概要: A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity

• arxiv url: http://arxiv.org/abs/2604.13393v1
• Date: Wed, 15 Apr 2026 01:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.347836
• Title: A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity
• Title（参考訳）: 4次成長と凸性の下での適応勾配勾配の近直線収束の短い証明
• Authors: Damek Davis, Dmitriy Drusvyatskiy,
• Abstract要約: 適応的な段差を持つ降下は、滑らかな関数に対してほぼ直線的な速度で局所的に収束することを示す。 我々は、数値性能を奨励する元のアルゴリズムよりも適応的な変種を得る。
• 参考スコア（独自算出の注目度）: 7.5757345574662205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Davis, Drusvyatskiy, and Jiang showed that gradient descent with an adaptive stepsize converges locally at a nearly-linear rate for smooth functions that grow at least quartically away from their minimizers. The argument is intricate, relying on monitoring the performance of the algorithm relative to a certain manifold of slow growth -- called the ravine. In this work, we provide a direct Lyapunov-based argument that bypasses these difficulties when the objective is in addition convex and a has a unique minimizer. As a byproduct of the argument, we obtain a more adaptive variant than the original algorithm with encouraging numerical performance.
• Abstract（参考訳）: Davis, Drusvyatskiy, Jiang は、適応的なステップサイズを持つ勾配降下は、少なくとも最小化子から四分的に成長する滑らかな函数に対して、局所的にほぼ直線的な速度で収束することを示した。 この議論は複雑で、遅い成長の特定の多様体(Vravine)に対するアルゴリズムのパフォーマンスの監視に依存している。 本研究では、目的が凸を加味し、aが一意な最小値を持つとき、これらの困難を回避できるという直接のリャプノフに基づく議論を提供する。 議論の副産物として、数値性能を奨励する元のアルゴリズムよりも適応的な変種を求める。

関連論文リスト

• Preconditioned subgradient method for composite optimization: overparameterization and fast convergence [16.437253140200788]
  複合最適化問題は凸関数を持つ滑らかな写像の構成を最小化することを含む。 次進法は、複合損失が十分に条件付けられたときに局所的な線形収束を達成する。 軽度規則性条件下で線形に収束するレバンス・モリソン・マルクアート劣次法を導入する。
  論文  参考訳（メタデータ） (2025-09-15T00:26:47Z)
• Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth [20.47417191285737]
  適応的な段差のある勾配降下は、任意の滑らかな関数に対して局所(ほぼ)線形速度で収束することを示す。 私たちが提案する適応的な段階化は、興味深い分解定理から生じる。
  論文  参考訳（メタデータ） (2024-09-29T21:27:00Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control [5.5491171448159715]
  バニラ分数次降下は、目的関数が強く凸である場合には、正確な最小点に収束する代わりに、大域最小点の周りの領域に振動的に収束することがある。 この問題に対処するために,新しい適応分数次降下法 (AFDOG) と新しい分数次降下法 (AFOAGD) を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:03:30Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。