論文の概要: Improved Convergence of Large Stepsize Gradient Descent for Logistic Regression
- arxiv url: http://arxiv.org/abs/2610.06675v1
- Date: Mon, 05 Oct 2026 16:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 23:45:38.500181
- Title: Improved Convergence of Large Stepsize Gradient Descent for Logistic Regression
- Title（参考訳）: ロジスティック回帰のための大ステップ勾配の収束性の改善
- Abstract要約: 線形分離可能なデータに対して,ロジスティック回帰のための大きな定常ステップサイズを有する勾配降下について検討した。
既存の分析では、アグレッシブなステップサイズで損失に到達するために$widetildeO (1/sqrt)$が加速された。
GDは大きなステップサイズ$=1/$リーチ損失$$O(lnp (1/)$ stepsで、$p$はデータのマージンとランクにのみ依存する。
- 参考スコア（独自算出の注目度）: 10.495634072200813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study gradient descent (GD) with a large constant stepsize for logistic regression on linearly separable data. Existing analysis shows an accelerated rate of $\widetilde{O}(1/\sqrtε)$ to reach loss $ε$ with an aggressive stepsize, although the loss may initially oscillate. Tighter control of the oscillatory dynamics has been available only for two-dimensional data. We prove a substantially faster rate in arbitrary dimension: GD with a large stepsize $η=1/ε$ reaches loss $ε$ within $O(\ln^{p}(1/ε))$ steps, where $p$ depends only on the margin and the rank of the data. Our proof improves the bound on the transition time of GD from the oscillatory to the stable phase, after which the loss decreases monotonically. We split the oscillatory phase into recursively nested intervals. The margin and the rank bound the nesting depth, and a counting argument bounds the number of intervals at each depth, together yielding the polylogarithmic step complexity.
- Abstract（参考訳）: 本研究では,線形分離可能なデータに対するロジスティック回帰のための勾配勾配勾配(GD)について検討した。
既存の分析では、アグレッシブなステップサイズで損失がε$に達するために$\widetilde{O}(1/\sqrtε)$が加速された。
振動力学の厳密な制御は2次元のデータに限られている。
GD は大きなステップサイズ $η=1/ε$ で損失 $ε$ in $O(\ln^{p}(1/ε))$ steps, ここで$p$ はデータのマージンとランクにのみ依存する。
我々の証明は、GDの振動から安定相への遷移時間の境界を改善し、その後、損失は単調に減少する。
我々は振動位相を再帰的にネストした間隔に分割した。
マージンとランクはネスト深さを束縛し、カウントする引数は各深さで間隔の個数を束縛し、多対数ステップの複雑さをもたらす。
関連論文リスト
- Tight Transition Time Bounds for Separable Logistic Regression at the Edge of Stability [15.99295708760811]
勾配勾配勾配下での線形分離可能なデータに対するロジスティック回帰を, 大きめのステップサイズ$$で検討した。
既存の作業は、次元$d=2$ as $to infty$として厳密な$(1)$バウンドを提供し、任意の次元において$$$の独立な有界な予想を$dgeq 2$とする。
本稿では,固定されたサンプルサイズ$ngeq 2$および十分に小さなマージン$$に対して,最悪のケース遷移時間は$!left(log)minであることを示すことによって,この予想を否定する。
論文 参考訳（メタデータ） (2026-10-01T10:54:10Z) - Tight Bounds for Logistic Regression with Large Stepsize Gradient Descent in Low Dimension [36.3266119975955]
分離可能なデータを用いた二項分類のための線形モデルを訓練するために、降下によるロジスティック勾配を最小化する最適化問題を考察する。
十分な学習率を持つGDが$mathcalO (1/(T))$よりも小さく、$T geq (n/+ 1/2)$の場合、$n$はデータセットサイズであることを示す。
論文 参考訳（メタデータ） (2026-02-12T22:58:18Z) - Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization [62.48819955422706]
大規模偏差理論のレンズによるSGD法における長期のテール崩壊について検討する。
我々は、テールが以前よりもはるかに早く崩壊する体制を発見し、個々のランニングに対してより強力な長期保証を提供する。
論文 参考訳（メタデータ） (2026-02-05T13:41:13Z) - Any-stepsize Gradient Descent for Separable Data under Fenchel-Young Losses [21.419391880736143]
emphFenchel-Young損失の枠組みに基づく一般損失関数に対して任意のステップの勾配収束を示す。
我々は、自己有界性の代わりに損失関数の分岐マージンによって、これらのより良いレートが可能であると論じる。
論文 参考訳（メタデータ） (2025-02-07T12:52:12Z) - Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency [47.8739414267201]
線形分離可能なデータを用いたロジスティック回帰に一定の段差を持つ勾配降下(GD)を考える。
GD はこの初期振動位相を急速に終了し、$mathcalO(eta)$ steps となり、その後$tildemathcalO (1 / (eta t) )$ convergence rate が得られることを示す。
我々の結果は、予算が$T$ ステップであれば、GD は攻撃的なステップサイズで $tildemathcalO (1/T2)$ の加速損失を達成できることを示している。
論文 参考訳（メタデータ） (2024-02-24T23:10:28Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。