論文の概要: Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality

• arxiv url: http://arxiv.org/abs/2511.06597v1
• Date: Mon, 10 Nov 2025 01:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.012988
• Title: Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality
• Title（参考訳）: 高速収束と普遍性のための最適オンライン・バッチ変換
• Authors: Yu-Hu Yan, Peng Zhao, Zhi-Hua Zhou,
• Abstract要約: 我々は,古典的ネステロフの加速度勾配法が最適収束を達成するような,滑らかな目的を持ったオフライン凸最適化について検討した。 理論的に楽観性を取り入れた新しい楽観的オンライン・バッチ変換を提案する。 我々は,オンライン・バッチ変換のレンズを用いて,強凸・滑らかな目標に対する最適加速収束率を初めて達成した。
• 参考スコア（独自算出の注目度）: 61.14065222161553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study offline convex optimization with smooth objectives, where the classical Nesterov's Accelerated Gradient (NAG) method achieves the optimal accelerated convergence. Extensive research has aimed to understand NAG from various perspectives, and a recent line of work approaches this from the viewpoint of online learning and online-to-batch conversion, emphasizing the role of optimistic online algorithms for acceleration. In this work, we contribute to this perspective by proposing novel optimistic online-to-batch conversions that incorporate optimism theoretically into the analysis, thereby significantly simplifying the online algorithm design while preserving the optimal convergence rates. Specifically, we demonstrate the effectiveness of our conversions through the following results: (i) when combined with simple online gradient descent, our optimistic conversion achieves the optimal accelerated convergence; (ii) our conversion also applies to strongly convex objectives, and by leveraging both optimistic online-to-batch conversion and optimistic online algorithms, we achieve the optimal accelerated convergence rate for strongly convex and smooth objectives, for the first time through the lens of online-to-batch conversion; (iii) our optimistic conversion can achieve universality to smoothness -- applicable to both smooth and non-smooth objectives without requiring knowledge of the smoothness coefficient -- and remains efficient as non-universal methods by using only one gradient query in each iteration. Finally, we highlight the effectiveness of our optimistic online-to-batch conversions by a precise correspondence with NAG.
• Abstract（参考訳）: 本研究では,従来のNesterov の Accelerated Gradient (NAG) 法が最適加速収束を達成できるような,滑らかな目的を持ったオフライン凸最適化について検討する。 広範囲にわたる研究は、様々な観点からNAGを理解することを目的としており、近年の一連の研究は、オンライン学習とオンラインバッチ変換の観点からアプローチし、アクセラレーションのための楽観的なオンラインアルゴリズムの役割を強調している。 本研究では, 最適収束率を保ちながら, 理論的に最適化を取り入れた新しい楽観的なオンライン・バッチ変換を提案することにより, この視点に寄与する。 具体的には、以下の結果を通して変換の有効性を実証する。 i) 簡単なオンライン勾配降下と組み合わせることで、楽観的な変換は最適な加速収束を達成する。 二 当社の変換は、強凸目的にも当てはまり、楽観的なオンライン・バッチ変換と楽観的なオンライン・アルゴリズムの両方を活用することにより、オンライン・バッチ変換のレンズを通して、強凸・滑らかな目的に対して最適な加速収束率を達成する。 三 楽観的な変換は、滑らかさ係数の知識を必要とせず、滑らかさと非滑らかな目的の両方に適用でき、各反復において1つの勾配クエリのみを用いることで、非普遍的な方法として効率的である。 最後に、NAGとの正確な対応により、楽観的なオンライン・バッチ変換の有効性を強調した。

関連論文リスト

• Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness [31.293577718154225]
  我々は,スムーズ関数と非スムーズ関数の両方を含む一般クラスであるH"older smooth functionを用いたオンライン学習について検討した。 本研究では,スムーズかつ非スムーズな条件下での最適保証を円滑に補間する,それに対応する勾配変分オンライン学習アルゴリズムを設計する。 オンライン適応性と検出に基づく推測とチェックの手順を統合することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-11-04T05:27:57Z)
• General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization [40.254487017289975]
  本研究では,A. Defazioらが開発したスケジュールなし手法の有効性について検討する。 具体的には、非平滑なSGD非最適化問題に対するスケジュールなし繰り返しを示す。
  論文  参考訳（メタデータ） (2024-11-11T15:25:48Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。