論文の概要: A Short Note of PAGE: Optimal Convergence Rates for Nonconvex
Optimization
- arxiv url: http://arxiv.org/abs/2106.09663v1
- Date: Thu, 17 Jun 2021 17:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 16:13:19.405689
- Title: A Short Note of PAGE: Optimal Convergence Rates for Nonconvex
Optimization
- Title(参考訳): PAGEの短いノート:非凸最適化のための最適収束率
- Authors: Zhize Li
- Abstract要約: 最適収束率を達成するために,PAGEの簡易かつクリーンな解析を行う。
このメモが洞察を提供し、他の作業に役立つことを願っています。
- 参考スコア(独自算出の注目度): 17.259824817932294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note, we first recall the nonconvex problem setting and introduce the
optimal PAGE algorithm (Li et al., ICML'21). Then we provide a simple and clean
convergence analysis of PAGE for achieving optimal convergence rates. Moreover,
PAGE and its analysis can be easily adopted and generalized to other works. We
hope that this note provides the insights and is helpful for future works.
- Abstract(参考訳): 本稿では,まず非凸問題設定を思い出し,最適PAGEアルゴリズム(Li et al., ICML'21)を導入する。
次に、最適収束率を達成するためのPAGEの単純でクリーンな収束解析を行う。
さらに、PAGEとその分析は簡単に適用でき、他の作品にも一般化できる。
このメモが洞察を提供し、将来の作業に役立つことを願っています。
関連論文リスト
- Compact Optimality Verification for Optimization Proxies [15.761737742798157]
近年、パラメトリック最適化問題の入出力マッピングを近似する機械学習モデルへの関心が高まっている。
本論文は,計算効率の優れた最適性検証のためのコンパクトな定式化を提案する。
論文 参考訳(メタデータ) (2024-05-31T17:11:39Z) - Faster Convergence with Multiway Preferences [99.68922143784306]
本稿では,符号関数に基づく比較フィードバックモデルについて考察し,バッチとマルチウェイの比較による収束率の解析を行う。
本研究は,マルチウェイ選好による凸最適化の問題を初めて研究し,最適収束率を解析するものである。
論文 参考訳(メタデータ) (2023-12-19T01:52:13Z) - Smoothed Analysis of Sequential Probability Assignment [16.090378928208885]
本稿では,情報理論的に最適であるminmaxレートと,最大極大推定器オラクルを含むアルゴリズム削減の枠組みについて検討する。
提案手法は,スムーズな逆数に対する逐次確率割当のためのミニマックスレートから,トランスダクティブ学習のためのミニマックスレートへの汎用的な削減を実現する。
論文 参考訳(メタデータ) (2023-03-08T19:25:57Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳(メタデータ) (2022-10-31T17:59:29Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳(メタデータ) (2022-09-02T09:06:24Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。