論文の概要: Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles

• arxiv url: http://arxiv.org/abs/2505.02281v1
• Date: Sun, 04 May 2025 22:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.527692
• Title: Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
• Title（参考訳）: ランダムゼロ次オラクルを用いた準凸関数の最小化
• Authors: Amir Ali Farzin, Yuen-Man Pun, Iman Shames,
• Abstract要約: 制約のない条件と制約のない条件の両方において、準サーサー理論(QC)関数を最小化するためのランダムなガウススムージングゼロ階法(ZO)スキームの性能を示す。 機械学習における様々な問題に適用されたアルゴリズムの性能を調べることによって、発見を図示する。
• 参考スコア（独自算出の注目度）: 1.712317731332484
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This study explores the performance of a random Gaussian smoothing zeroth-order (ZO) scheme for minimising quasar-convex (QC) and strongly quasar-convex (SQC) functions in both unconstrained and constrained settings. For the unconstrained problem, we establish the ZO algorithm's convergence to a global minimum along with its complexity when applied to both QC and SQC functions. For the constrained problem, we introduce the new notion of proximal-quasar-convexity and prove analogous results to the unconstrained case. Specifically, we show the complexity bounds and the convergence of the algorithm to a neighbourhood of a global minimum whose size can be controlled under a variance reduction scheme. Theoretical findings are illustrated through investigating the performance of the algorithm applied to a range of problems in machine learning and optimisation. Specifically, we observe scenarios where the ZO method outperforms gradient descent. We provide a possible explanation for this phenomenon.
• Abstract（参考訳）: 本研究では,非制約条件および制約条件条件下での準凸 (QC) と強い準凸 (SQC) 関数の最小化のためのランダムガウス滑らか化ゼロ階法 (ZO) スキームの性能について検討する。 制約のない問題に対して、ZOアルゴリズムは、QC関数とSQC関数の両方に適用した場合に、その複雑さとともに、大域的な最小値への収束を確立する。 制約のある問題に対しては、近準準凸という新しい概念を導入し、制約のない場合と類似した結果を証明する。 具体的には,大域的最小値の近傍にアルゴリズムの複雑性境界と収束性を示し,その大きさを分散還元法で制御する。 理論的知見は、機械学習と最適化における様々な問題に適用されたアルゴリズムの性能を調べることによって示される。 具体的には、ZO法が勾配降下よりも優れるシナリオを観察する。 我々はこの現象について説明できる。

関連論文リスト

• Min-Max Optimisation for Nonconvex-Nonconcave Functions Using a Random Zeroth-Order Extragradient Algorithm [1.8783693815869542]
  制約なし、制約なし、差別化可能、差別化不可能な設定も検討する。 制約のない問題に対して、ZO-EGアルゴリズムのNC-NC目的関数の$epsilon$-stationary点近傍への収束を確立する。 非微分可能の場合、目的関数の滑らかなバージョンのエプシロン$定常点の近傍へのZO-EGアルゴリズムの収束を証明する。
  論文  参考訳（メタデータ） (2025-04-10T02:15:30Z)
• New Lower Bounds for Stochastic Non-Convex Optimization through Divergence Composition [11.530542389959347]
  L-凸性(QC)、擬似成長(SmoothQG)、制限不等式(RSI)などの非次元設定における一階最適化の基本的限界を示す。
  論文  参考訳（メタデータ） (2025-02-19T19:21:00Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Universal Gradient Descent Ascent Method for Nonconvex-Nonconcave Minimax Optimization [22.392563619845212]
  非コンケーブなミニマックス最適化は、機械学習に広く応用されているため、この10年で大きな注目を集めている。 本稿では,一様かつ二重に勾配のバランスをとることができる新しい単一ループ二元アルゴリズムを提案する。 具体的には、指数$thetain(0,1)$の片側KL条件の下で、DS-GDAは$mathcalO(eps-2$2$1)の結果と収束する。
  論文  参考訳（メタデータ） (2022-12-26T00:28:07Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization [25.73397307080647]
  本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。 本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。 我々は,新しい数値スケール問題の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-23T05:24:05Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities [21.13934071954103]
  本稿では,非インワンテキスト変数 Descent に対する決定論的アルゴリズムを提案する。 SGC仮定の下では,アルゴリズムの複雑さが既存のアルゴリズムの複雑さと一致していることが示される。 結果はオラクル・テキストZO-GDMSAで示され、数値実験により理論的結果が裏付けられる。
  論文  参考訳（メタデータ） (2020-01-22T00:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。