論文の概要: A Short Note of PAGE: Optimal Convergence Rates for Nonconvex
Optimization
- arxiv url: http://arxiv.org/abs/2106.09663v1
- Date: Thu, 17 Jun 2021 17:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 16:13:19.405689
- Title: A Short Note of PAGE: Optimal Convergence Rates for Nonconvex
Optimization
- Title(参考訳): PAGEの短いノート:非凸最適化のための最適収束率
- Authors: Zhize Li
- Abstract要約: 最適収束率を達成するために,PAGEの簡易かつクリーンな解析を行う。
このメモが洞察を提供し、他の作業に役立つことを願っています。
- 参考スコア(独自算出の注目度): 17.259824817932294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note, we first recall the nonconvex problem setting and introduce the
optimal PAGE algorithm (Li et al., ICML'21). Then we provide a simple and clean
convergence analysis of PAGE for achieving optimal convergence rates. Moreover,
PAGE and its analysis can be easily adopted and generalized to other works. We
hope that this note provides the insights and is helpful for future works.
- Abstract(参考訳): 本稿では,まず非凸問題設定を思い出し,最適PAGEアルゴリズム(Li et al., ICML'21)を導入する。
次に、最適収束率を達成するためのPAGEの単純でクリーンな収束解析を行う。
さらに、PAGEとその分析は簡単に適用でき、他の作品にも一般化できる。
このメモが洞察を提供し、将来の作業に役立つことを願っています。
関連論文リスト
- Faster Convergence with Multiway Preferences [99.68922143784306]
本稿では,符号関数に基づく比較フィードバックモデルについて考察し,バッチとマルチウェイの比較による収束率の解析を行う。
本研究は,マルチウェイ選好による凸最適化の問題を初めて研究し,最適収束率を解析するものである。
論文 参考訳(メタデータ) (2023-12-19T01:52:13Z) - META-SMGO-$\Delta$: similarity as a prior in black-box optimization [1.282675419968047]
本稿では,近年提案されているグローバル最適化手法SMGO-$Delta$にMETA学習理論を組み入れることを提案する。
本稿では,ベースラインアルゴリズムのMETA拡張の実用的メリットを示すとともに,その性能に理論的制約を与える。
論文 参考訳(メタデータ) (2023-04-30T09:41:04Z) - Smoothed Analysis of Sequential Probability Assignment [16.090378928208885]
本稿では,情報理論的に最適であるminmaxレートと,最大極大推定器オラクルを含むアルゴリズム削減の枠組みについて検討する。
提案手法は,スムーズな逆数に対する逐次確率割当のためのミニマックスレートから,トランスダクティブ学習のためのミニマックスレートへの汎用的な削減を実現する。
論文 参考訳(メタデータ) (2023-03-08T19:25:57Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳(メタデータ) (2022-10-31T17:59:29Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳(メタデータ) (2022-09-02T09:06:24Z) - Sharper Rates and Flexible Framework for Nonconvex SGD with Client and
Data Sampling [64.31011847952006]
我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。
我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。
我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
論文 参考訳(メタデータ) (2022-06-05T21:32:33Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit
Synthesis via One-Dimensional Subspaces [11.64233949999656]
アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。
提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
論文 参考訳(メタデータ) (2021-09-01T21:25:25Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。