論文の概要: General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
- arxiv url: http://arxiv.org/abs/2411.07061v1
- Date: Mon, 11 Nov 2024 15:25:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:11:05.083235
- Title: General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
- Title（参考訳）: オンライン-非凸変換のための一般的なフレームワーク:スケジュールなしSGDは非凸最適化にも有効である
- Authors: Kwangjun Ahn, Gagik Magakyan, Ashok Cutkosky,
- Abstract要約: 本研究では,A. Defazioらが開発したスケジュールなし手法の有効性について検討する。
具体的には、非平滑なSGD非最適化問題に対するスケジュールなし繰り返しを示す。
- 参考スコア（独自算出の注目度）: 40.254487017289975
- License:
- Abstract: This work investigates the effectiveness of schedule-free methods, developed by A. Defazio et al. (NeurIPS 2024), in nonconvex optimization settings, inspired by their remarkable empirical success in training neural networks. Specifically, we show that schedule-free SGD achieves optimal iteration complexity for nonsmooth, nonconvex optimization problems. Our proof begins with the development of a general framework for online-to-nonconvex conversion, which converts a given online learning algorithm into an optimization algorithm for nonconvex losses. Our general framework not only recovers existing conversions but also leads to two novel conversion schemes. Notably, one of these new conversions corresponds directly to schedule-free SGD, allowing us to establish its optimality. Additionally, our analysis provides valuable insights into the parameter choices for schedule-free SGD, addressing a theoretical gap that the convex theory cannot explain.
- Abstract（参考訳）: 本研究では,A. Defazio et al (NeurIPS 2024)によって開発された,非凸最適化設定におけるスケジュールなし手法の有効性について検討する。
具体的には,非滑らかな非凸最適化問題に対して,スケジュール不要なSGDが最適反復複雑性を実現することを示す。
我々の証明は、オンラインから非凸変換のための一般的なフレームワークの開発から始まり、与えられたオンライン学習アルゴリズムを非凸損失に対する最適化アルゴリズムに変換する。
我々の一般的なフレームワークは、既存の変換を復元するだけでなく、2つの新しい変換スキームをもたらす。
特に、これらの新しい変換のうちの1つはスケジュールなしのSGDに直接対応し、最適性を確立することができる。
さらに、我々の分析はスケジュールのないSGDのパラメータ選択に関する貴重な知見を提供し、凸理論では説明できない理論的なギャップに対処する。
関連論文リスト
- From Inverse Optimization to Feasibility to ERM [11.731853838892487]
パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。
合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
論文 参考訳（メタデータ） (2024-02-27T21:06:42Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Efficient Methods for Non-stationary Online Learning [67.3300478545554]
本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。
本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
論文 参考訳（メタデータ） (2023-09-16T07:30:12Z) - Optimal Parameter-free Online Learning with Switching Cost [47.415099037249085]
オンライン学習における自由とは、後ろ向きの最適決定に対するアルゴリズムの適応性を指す。
本稿では,パラメータフリーで要求される楽観的な更新を,スイッチングコストを前提として,そのようなアルゴリズムを設計する。
本稿では,オンライン線形最適化 (OLO) のための簡易かつ強力なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-13T18:44:27Z) - Adapting to Misspecification in Contextual Bandits [82.55565343668246]
我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。
我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
論文 参考訳（メタデータ） (2021-07-12T21:30:41Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳（メタデータ） (2020-08-15T15:28:05Z) - Momentum with Variance Reduction for Nonconvex Composition Optimization [9.657813709239335]
組成最適化は非機械学習で広く適用されている。
モーメントと分散低減技術を採用した様々な高度なアルゴリズムが開発されている。
我々のアルゴリズムは既存のアルゴリズムよりもはるかに早く収束する。
論文 参考訳（メタデータ） (2020-05-15T19:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。