論文の概要: Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness

• arxiv url: http://arxiv.org/abs/2511.02276v1
• Date: Tue, 04 Nov 2025 05:27:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.819415
• Title: Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
• Title（参考訳）: Hölder Smoothnessによる高速化最適化のための勾配変動オンライン適応性
• Authors: Yuheng Zhao, Yu-Hu Yan, Kfir Yehuda Levy, Peng Zhao,
• Abstract要約: 我々は,スムーズ関数と非スムーズ関数の両方を含む一般クラスであるH"older smooth functionを用いたオンライン学習について検討した。 本研究では,スムーズかつ非スムーズな条件下での最適保証を円滑に補間する,それに対応する勾配変分オンライン学習アルゴリズムを設計する。 オンライン適応性と検出に基づく推測とチェックの手順を統合することでこの問題に対処する。
• 参考スコア（独自算出の注目度）: 31.293577718154225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smoothness is known to be crucial for acceleration in offline optimization, and for gradient-variation regret minimization in online learning. Interestingly, these two problems are actually closely connected -- accelerated optimization can be understood through the lens of gradient-variation online learning. In this paper, we investigate online learning with H\"older smooth functions, a general class encompassing both smooth and non-smooth (Lipschitz) functions, and explore its implications for offline optimization. For (strongly) convex online functions, we design the corresponding gradient-variation online learning algorithm whose regret smoothly interpolates between the optimal guarantees in smooth and non-smooth regimes. Notably, our algorithms do not require prior knowledge of the H\"older smoothness parameter, exhibiting strong adaptivity over existing methods. Through online-to-batch conversion, this gradient-variation online adaptivity yields an optimal universal method for stochastic convex optimization under H\"older smoothness. However, achieving universality in offline strongly convex optimization is more challenging. We address this by integrating online adaptivity with a detection-based guess-and-check procedure, which, for the first time, yields a universal offline method that achieves accelerated convergence in the smooth regime while maintaining near-optimal convergence in the non-smooth one.
• Abstract（参考訳）: スムースネスは、オフライン最適化における加速や、オンライン学習における勾配偏差後悔の最小化に不可欠であることが知られている。 興味深いことに、これらの2つの問題は実際には密接に結びついており、加速された最適化は、勾配偏差オンライン学習のレンズを通して理解することができる。 本稿では,スムーズかつ非スムーズな関数(Lipschitz)を包含する一般クラスであるH\older smooth functionを用いたオンライン学習について検討し,オフライン最適化におけるその意義について考察する。 オンライン関数を(強く)凸にするために、滑らかな状態と非滑らかな状態の最適保証をスムーズに補間する、対応する勾配偏差オンライン学習アルゴリズムを設計する。 特に、我々のアルゴリズムはH\"古い滑らか度パラメータの事前知識を必要とせず、既存の手法に対して強い適応性を示す。 オンラインからバッチへの変換を通じて、この勾配偏差オンライン適応性は、H\"古い滑らかさの下での確率凸最適化の最適普遍的方法をもたらす。 しかし、オフラインの強い凸最適化において普遍性を達成することはより困難である。 オンライン適応度を検出に基づく推測・検査手法と統合することにより,非滑らかな状態における近似収束を保ちながら,スムーズな状態における高速化収束を実現する普遍的なオフライン手法を初めて提供する。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• A simple uniformly optimal method without line search for convex optimization [9.280355951055865]
  パラメータが優先されていない凸最適化問題の解法として最適収束率を得るには,線探索が過剰であることを示す。 滑らかな凸最適化のために最適な$mathcalO (1/k2)$収束率を達成できるAC-FGMと呼ばれる新しい勾配降下型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:26:03Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities [32.51470158863247]
  AdaACSAとAdaAGD+は制約付き凸最適化の高速化手法である。 我々はこれらを、同じ特徴を享受し、標準の非加速収束率を達成する、より単純なアルゴリズムAdaGrad+で補完する。
  論文  参考訳（メタデータ） (2020-07-17T09:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。