論文の概要: SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates

• arxiv url: http://arxiv.org/abs/2211.08597v5
• Date: Tue, 20 Feb 2024 21:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:43:58.199860
• Title: SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates
• Title（参考訳）: SketchySGD:ランダムな曲率推定による信頼性確率最適化
• Authors: Zachary Frangella, Pratik Rathore, Shipu Zhao, Madeleine Udell
• Abstract要約: SketchySGDは、サブサンプルヘッセンに対するランダム化低ランク近似を用いることで、機械学習の既存の勾配法を改善する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 条件のない設定では、最小二乗問題に対してSketchySGDはSGDよりも高速に収束することを示す。
• 参考スコア（独自算出の注目度）: 19.420605210427635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SketchySGD improves upon existing stochastic gradient methods in machine learning by using randomized low-rank approximations to the subsampled Hessian and by introducing an automated stepsize that works well across a wide range of convex machine learning problems. We show theoretically that SketchySGD with a fixed stepsize converges linearly to a small ball around the optimum. Further, in the ill-conditioned setting we show SketchySGD converges at a faster rate than SGD for least-squares problems. We validate this improvement empirically with ridge regression experiments on real data. Numerical experiments on both ridge and logistic regression problems with dense and sparse data, show that SketchySGD equipped with its default hyperparameters can achieve comparable or better results than popular stochastic gradient methods, even when they have been tuned to yield their best performance. In particular, SketchySGD is able to solve an ill-conditioned logistic regression problem with a data matrix that takes more than $840$GB RAM to store, while its competitors, even when tuned, are unable to make any progress. SketchySGD's ability to work out-of-the box with its default hyperparameters and excel on ill-conditioned problems is an advantage over other stochastic gradient methods, most of which require careful hyperparameter tuning (especially of the learning rate) to obtain good performance and degrade in the presence of ill-conditioning.
• Abstract（参考訳）: SketchySGDは、サブサンプルのHessianに対するランダム化低ランク近似を用いることで、機械学習の既存の確率勾配法を改善し、幅広い凸機械学習問題に対してうまく機能する自動ステップサイズを導入する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 さらに、不条件条件下では、SketchySGDは最小二乗問題に対してSGDよりも高速に収束することを示す。 この改善を実データに対するリッジ回帰実験で実証的に検証する。 密度および疎度データを用いたリッジおよびロジスティック回帰問題の数値実験により、SketchySGDのデフォルトのハイパーパラメーターは、最高の性能が得られるように調整された場合でも、一般的な確率勾配法と同等あるいはより良い結果が得られることを示した。 特にSketchySGDは、840ドル(約8万4000円)以上のRAMを格納するデータマトリックスを使って、不条件のロジスティック回帰問題を解決することができる。 sketchysgdの既定のハイパーパラメーターでアウト・オブ・ザ・ボックスを動作させ、悪条件の問題に優れる能力は、他の確率的勾配法よりも優れている。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Max-affine regression via first-order methods [7.12511675782289]
  最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。 最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
  論文  参考訳（メタデータ） (2023-08-15T23:46:44Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence [30.393999722555154]
  本稿では,古典的ポリアクステップサイズ (Polyak, 1987) の亜次法でよく用いられる変種を提案する。 The proposed Polyak step-size (SPS) is a attractive choice for set the learning rate for gradient descent。
  論文  参考訳（メタデータ） (2020-02-24T20:57:23Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。