論文の概要: How Free is Parameter-Free Stochastic Optimization?

• arxiv url: http://arxiv.org/abs/2402.03126v3
• Date: Sun, 20 Oct 2024 11:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:14:19.391704
• Title: How Free is Parameter-Free Stochastic Optimization?
• Title（参考訳）: パラメータフリー確率最適化はどのくらい自由か?
• Authors: Amit Attia, Tomer Koren,
• Abstract要約: パラメータフリー最適化の問題について検討し、パラメータフリーな手法が存在するかどうかを問う。 既存の手法は、真の問題パラメータに関するいくつかの非自明な知識を必要とするため、部分的にはパラメータフリーとみなすことができる。 単純なハイパーサーチ手法により、より洗練された最先端アルゴリズムより優れたパラメータフリーな手法が実現できることを実証する。
• 参考スコア（独自算出の注目度）: 29.174036532175855
• License:
• Abstract: We study the problem of parameter-free stochastic optimization, inquiring whether, and under what conditions, do fully parameter-free methods exist: these are methods that achieve convergence rates competitive with optimally tuned methods, without requiring significant knowledge of the true problem parameters. Existing parameter-free methods can only be considered ``partially'' parameter-free, as they require some non-trivial knowledge of the true problem parameters, such as a bound on the stochastic gradient norms, a bound on the distance to a minimizer, etc. In the non-convex setting, we demonstrate that a simple hyperparameter search technique results in a fully parameter-free method that outperforms more sophisticated state-of-the-art algorithms. We also provide a similar result in the convex setting with access to noisy function values under mild noise assumptions. Finally, assuming only access to stochastic gradients, we establish a lower bound that renders fully parameter-free stochastic convex optimization infeasible, and provide a method which is (partially) parameter-free up to the limit indicated by our lower bound.
• Abstract（参考訳）: パラメータフリー確率最適化の問題について,パラメータフリーな手法が存在するかどうかを問うとともに,パラメータフリーな手法と競合する収束率を求める。 既存のパラメータフリーなメソッドは、確率的勾配ノルム上の境界、最小値への距離上の境界など、真の問題パラメータに関するいくつかの非自明な知識を必要とするため、 `partially'' パラメータフリーとみなすことができる。 非凸環境では、単純なハイパーパラメータ探索技術により、より洗練された最先端のアルゴリズムより優れたパラメータフリーな手法が実現されることを示す。 また,弱雑音条件下では,雑音関数値にアクセス可能な凸設定でも同様の結果が得られる。 最後に、確率勾配にのみアクセスすると、完全にパラメータフリーな確率凸最適化が実現不可能な下界を確立し、(部分的には)下界で示される極限までパラメータフリーな方法を提案する。

関連論文リスト

• Parameter-free Clipped Gradient Descent Meets Polyak [29.764853985834403]
  勾配降下とその変種は、機械学習モデルをトレーニングするためのデファクト標準アルゴリズムである。 Inexact Polyak Stepsizeを提案し、これはハイパーパラメータチューニングなしで最適解に収束する。 合成関数を用いて収束結果を数値的に検証し,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:29:38Z)
• Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach [49.056933332667114]
  確率制約付き最適制御問題に対する解析解は存在しない。 制御中の制約強調パラメータをオンラインで学習するためのデータ駆動型アプローチを提案する。 提案手法は, 確率制約を厳密に満たす制約強調パラメータを導出する。
  論文  参考訳（メタデータ） (2023-10-04T16:22:02Z)
• SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance [33.593203156666746]
  本稿では,AdaGradが一階最適化のための適応(自己調整)手法を段階化することを示す。 低ノイズと高レジの両方で、低ノイズと高レジの両方で急激な収束率を見出す。
  論文  参考訳（メタデータ） (2023-02-17T09:46:08Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Automated differential equation solver based on the parametric approximation optimization [77.34726150561087]
  本稿では,最適化アルゴリズムを用いてパラメータ化近似を用いた解を求める手法を提案する。 アルゴリズムのパラメータを変更することなく、幅広い種類の方程式を自動で解くことができる。
  論文  参考訳（メタデータ） (2022-05-11T10:06:47Z)
• Making SGD Parameter-Free [28.088227276891885]
  我々のアルゴリズムは概念的には単純で、高い確率保証を持ち、未知の勾配ノルム、滑らかさ、強い凸性に部分的に適応している。 結果の核心は,SGDステップサイズ選択のための新しいパラメータフリー証明書と,SGDのa-プリオリ境界が反復しないと仮定する時間一様濃度の結果である。
  論文  参考訳（メタデータ） (2022-05-04T16:29:38Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization [0.27074235008521236]
  我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。 この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。 固定精度アプローチと比較して頑健さと効率性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T00:59:51Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。