論文の概要: Tuning-Free Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2402.07793v2
• Date: Mon, 18 Mar 2024 20:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:21:52.436043
• Title: Tuning-Free Stochastic Optimization
• Title（参考訳）: チューニング不要確率最適化
• Authors: Ahmed Khaled, Chi Jin,
• Abstract要約: 大規模な機械学習の問題は、自らをオンザフライでチューニングできるアルゴリズムを必要とする。 最適に調整された凸勾配Descent領域の概念を定式化する。 チューニング不要なアルゴリズムSGDが,既存のアルゴリズムによって実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 23.45739865304092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale machine learning problems make the cost of hyperparameter tuning ever more prohibitive. This creates a need for algorithms that can tune themselves on-the-fly. We formalize the notion of "tuning-free" algorithms that can match the performance of optimally-tuned optimization algorithms up to polylogarithmic factors given only loose hints on the relevant problem parameters. We consider in particular algorithms that can match optimally-tuned Stochastic Gradient Descent (SGD). When the domain of optimization is bounded, we show tuning-free matching of SGD is possible and achieved by several existing algorithms. We prove that for the task of minimizing a convex and smooth or Lipschitz function over an unbounded domain, tuning-free optimization is impossible. We discuss conditions under which tuning-free optimization is possible even over unbounded domains. In particular, we show that the recently proposed DoG and DoWG algorithms are tuning-free when the noise distribution is sufficiently well-behaved. For the task of finding a stationary point of a smooth and potentially nonconvex function, we give a variant of SGD that matches the best-known high-probability convergence rate for tuned SGD at only an additional polylogarithmic cost. However, we also give an impossibility result that shows no algorithm can hope to match the optimal expected convergence rate for tuned SGD with high probability.
• Abstract（参考訳）: 大規模な機械学習の問題は、ハイパーパラメータチューニングのコストをより禁忌なものにする。 これにより、自分自身をオンザフライでチューニングできるアルゴリズムの必要性が生まれます。 我々は,最適化アルゴリズムの最適化性能を,関連する問題パラメータのゆるいヒントのみを与えられた多対数因子に適合させる「チューニングフリー」アルゴリズムの概念を定式化する。 本稿では,SGD(Stochastic Gradient Descent)を最適に調整したアルゴリズムについて考察する。 最適化領域が有界である場合、SGDのチューニング不要なマッチングが可能であり、既存のアルゴリズムによって実現可能であることを示す。 凸や滑らかなリプシッツ関数を非有界領域上で最小化するタスクでは、チューニング不要な最適化は不可能である。 非有界領域でもチューニング不要な最適化が可能となる条件について論じる。 特に,最近提案されたDoGアルゴリズムとDoWGアルゴリズムは,ノイズ分布が十分に良好な場合,チューニング不要であることを示す。 滑らかで潜在的に非凸な関数の定常点を求めるタスクに対して、チューニングされたSGDの最もよく知られた高確率収束率と、追加の多対数コストで一致するSGDの変種を与える。 しかし、調整されたSGDの最適収束率を高い確率で一致させるアルゴリズムが存在しないことを示す不確実性結果も提示する。

関連論文リスト

• An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization [37.300102993926046]
  リプシッツの目的の滑らかな点も凸点も生成しない点の複雑さについて検討する。 私たちの分析は単純だが強力だ。 Goldstein-subdifferential set, これは最近の進歩を可能にする。 非滑らかな非最適化
  論文  参考訳（メタデータ） (2023-07-10T11:56:04Z)
• Adaptive Strategies in Non-convex Optimization [5.279475826661643]
  アルゴリズムは、そのようなパラメータの事前知識を必要としない場合、あるパラメータに適応すると言われている。 この論文は3つのシナリオにおける適応アルゴリズムの研究を示す。
  論文  参考訳（メタデータ） (2023-06-17T06:52:05Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。