論文の概要: Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression

• arxiv url: http://arxiv.org/abs/2506.02336v1
• Date: Tue, 03 Jun 2025 00:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.178123
• Title: Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
• Title（参考訳）: 正規化ロジスティック回帰の高速化と高速化
• Authors: Jingfeng Wu, Pierre Marion, Peter Bartlett,
• Abstract要約: 線形分離可能なデータを用いた$ell$-regularized logistic regressionの段差が一定である勾配降下(GD)について検討した。 これは、単に大きなステップサイズを使用することで、$widetildemathcalO(sqrtkappa)$に加速できることを示す。
• 参考スコア（独自算出の注目度）: 9.15420898792103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study gradient descent (GD) with a constant stepsize for $\ell_2$-regularized logistic regression with linearly separable data. Classical theory suggests small stepsizes to ensure monotonic reduction of the optimization objective, achieving exponential convergence in $\widetilde{\mathcal{O}}(\kappa)$ steps with $\kappa$ being the condition number. Surprisingly, we show that this can be accelerated to $\widetilde{\mathcal{O}}(\sqrt{\kappa})$ by simply using a large stepsize -- for which the objective evolves nonmonotonically. The acceleration brought by large stepsizes extends to minimizing the population risk for separable distributions, improving on the best-known upper bounds on the number of steps to reach a near-optimum. Finally, we characterize the largest stepsize for the local convergence of GD, which also determines the global convergence in special scenarios. Our results extend the analysis of Wu et al. (2024) from convex settings with minimizers at infinity to strongly convex cases with finite minimizers.
• Abstract（参考訳）: 線形分離可能なデータを用いて, $\ell_2$-regularized logistic regression のステップサイズを一定とした勾配降下(GD)について検討した。 古典理論は、最適化の目的を単調に減らし、$\widetilde{\mathcal{O}}(\kappa)$ step with $\kappa$ を条件数とする指数収束を達成するために小さな段階化を示唆している。 驚くべきことに、これは単に大きなステップサイズを使うだけで$\widetilde{\mathcal{O}}(\sqrt{\kappa})$に加速できる。 大きな段差によってもたらされる加速度は、分離可能な分布の集団リスクを最小限に抑え、最もよく知られた上界を、最も近い最適点に達するステップ数で改善する。 最後に、GDの局所収束における最大のステップサイズを特徴付け、特殊シナリオにおけるグローバル収束も決定する。 この結果は, 無限小の凸設定から有限小の凸ケースまで, Wu et al (2024) の解析を拡張した。

関連論文リスト

• Stochastic Gradient Descent in Non-Convex Problems: Asymptotic Convergence with Relaxed Step-Size via Stopping Time Methods [13.677904140815386]
  Gradient Descent (SGD) は機械学習の研究で広く使われている。 本稿では,より緩やかなステップサイズ条件下でのSGDの収束解析法を提案する。
  論文  参考訳（メタデータ） (2025-04-17T02:56:20Z)
• Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes [38.595892152591595]
  我々は,大きく,一定のステップサイズを持つロジスティック回帰問題における降下ダイナミクスについて検討した。 局所収束は臨界ステップサイズより小さい全てのステップサイズに対して保証されるが、大域収束は保証されない。
  論文  参考訳（メタデータ） (2024-06-07T15:53:06Z)
• Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency [47.8739414267201]
  線形分離可能なデータを用いたロジスティック回帰に一定の段差を持つ勾配降下(GD)を考える。 GD はこの初期振動位相を急速に終了し、$mathcalO(eta)$ steps となり、その後$tildemathcalO (1 / (eta t) )$ convergence rate が得られることを示す。 我々の結果は、予算が$T$ ステップであれば、GD は攻撃的なステップサイズで $tildemathcalO (1/T2)$ の加速損失を達成できることを示している。
  論文  参考訳（メタデータ） (2024-02-24T23:10:28Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。