論文の概要: A Novel Unified Parametric Assumption for Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2502.12329v1
- Date: Mon, 17 Feb 2025 21:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:09:36.989535
- Title: A Novel Unified Parametric Assumption for Nonconvex Optimization
- Title（参考訳）: 非凸最適化のための新しい統一パラメトリック推定法
- Authors: Artem Riabinin, Ahmed Khaled, Peter Richtárik,
- Abstract要約: 非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。
非凸アルゴリズムに新しい統一仮定を導入する。
- 参考スコア（独自算出の注目度）: 53.943470475510196
- License:
- Abstract: Nonconvex optimization is central to modern machine learning, but the general framework of nonconvex optimization yields weak convergence guarantees that are too pessimistic compared to practice. On the other hand, while convexity enables efficient optimization, it is of limited applicability to many practical problems. To bridge this gap and better understand the practical success of optimization algorithms in nonconvex settings, we introduce a novel unified parametric assumption. Our assumption is general enough to encompass a broad class of nonconvex functions while also being specific enough to enable the derivation of a unified convergence theorem for gradient-based methods. Notably, by tuning the parameters of our assumption, we demonstrate its versatility in recovering several existing function classes as special cases and in identifying functions amenable to efficient optimization. We derive our convergence theorem for both deterministic and stochastic optimization, and conduct experiments to verify that our assumption can hold practically over optimization trajectories.
- Abstract（参考訳）: 非凸最適化は現代の機械学習の中心であるが、非凸最適化の一般的な枠組みは、実践に比べて悲観的すぎる弱い収束保証をもたらす。
一方、凸性は効率的な最適化を可能にするが、多くの実用的な問題に適用可能である。
このギャップを埋め、非凸条件下での最適化アルゴリズムの実践的成功をよりよく理解するために、新しい統一パラメトリック仮定を導入する。
我々の仮定は、広く非凸函数のクラスを包含するに足るが、勾配法に対する統一収束定理の導出を可能にするには十分である。
特に、仮定のパラメータをチューニングすることにより、いくつかの既存の関数クラスを特別なケースとして回収し、効率的な最適化が可能な関数を特定することで、その汎用性を実証する。
我々は、決定論的最適化と確率的最適化の両方に対して収束定理を導出し、我々の仮定が最適化軌道よりも実質的に成り立つことを検証する実験を行う。
関連論文リスト
- A Generalization Result for Convergence in Learning-to-Optimize [4.112909937203119]
最適化における従来の収束保証は幾何学的引数に基づいており、アルゴリズムには適用できない。
私たちは、私たちの知識のベストを証明する最初の人であり、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。私たちは、私たちの知識のベストを証明する最初の人です。
論文 参考訳（メタデータ） (2024-10-10T08:17:04Z) - Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - Non-Convex Optimization with Certificates and Fast Rates Through Kernel
Sums of Squares [68.8204255655161]
非最適化近似問題を考える。
本稿では,最優先計算を保証するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-04-11T09:37:04Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳（メタデータ） (2021-07-23T00:04:39Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。