論文の概要: Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression

• arxiv url: http://arxiv.org/abs/2602.18946v1
• Date: Sat, 21 Feb 2026 19:31:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.410517
• Title: Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
• Title（参考訳）: バラバラなロジスティック回帰のための(確率的)グラディエントDescenceの指数収束性
• Authors: Sacchit Kale, Piyushi Manupriya, Pierre Marion, Francis bach, Anant Raj,
• Abstract要約: 簡単な非適応的なステップサイズスケジュールによる勾配勾配勾配は、マージン条件下での分離可能なロジスティック回帰の指数収束を実現することを示す。 また、線形探索や特殊手順を回避する軽量適応的なステップサイズルールを用いて勾配降下の指数収束を確立する。
• 参考スコア（独自算出の注目度）: 14.718691362208622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient descent and stochastic gradient descent are central to modern machine learning, yet their behavior under large step sizes remains theoretically unclear. Recent work suggests that acceleration often arises near the edge of stability, where optimization trajectories become unstable and difficult to analyze. Existing results for separable logistic regression achieve faster convergence by explicitly leveraging such unstable regimes through constant or adaptive large step sizes. In this paper, we show that instability is not inherent to acceleration. We prove that gradient descent with a simple, non-adaptive increasing step-size schedule achieves exponential convergence for separable logistic regression under a margin condition, while remaining entirely within a stable optimization regime. The resulting method is anytime and does not require prior knowledge of the optimization horizon or target accuracy. We also establish exponential convergence of stochastic gradient descent using a lightweight adaptive step-size rule that avoids line search and specialized procedures, improving upon existing polynomial-rate guarantees. Together, our results demonstrate that carefully structured step-size growth alone suffices to obtain exponential acceleration for both gradient descent and stochastic gradient descent.
• Abstract（参考訳）: 勾配降下と確率勾配降下は現代の機械学習の中心であるが、その大きなステップサイズでの挙動は理論的には不明である。 最近の研究は、最適化軌道が不安定になり解析が困難になる安定性の端近くで加速がしばしば起こることを示唆している。 分割可能なロジスティック回帰の既存の結果は、定数あるいは適応的な大きなステップサイズを通じて、そのような不安定な状態を明示的に活用することで、より高速な収束を実現する。 本稿では,不安定性が加速に固有のものではないことを示す。 簡単な非適応的なステップサイズスケジュールによる勾配勾配は、安定な最適化体制内に留まりながら、マージン条件下での分離可能なロジスティック回帰の指数収束を実現することを証明した。 得られた方法はいつでも可能であり、最適化の地平線や目標精度に関する事前の知識を必要としない。 また、線形探索や特殊手順を回避し、既存の多項式レート保証を改善した軽量適応的なステップサイズルールを用いて、確率勾配勾配の指数収束を確立した。 以上の結果から, 傾斜勾配と確率勾配の両方の指数加速度を得るには, 慎重に構成されたステップサイズ成長だけで十分であることが示唆された。

関連論文リスト

• Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness [1.5892054128426507]
  ヘッセンノルムは勾配ノルムとともに線型に成長することを許され、したがってリプシッツの滑らかさを超えて急速に変化する勾配を調節する。 我々は、指向性通信グラフ上の正確な収束を保証するため、勾配追従手法と勾配クリッピングを統合する。 本研究の結果は, 勾配差が非有界である場合でも有効であり, 提案手法は現実的な異種データ環境に適用可能である。
  論文  参考訳（メタデータ） (2026-01-07T04:25:33Z)
• Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques [17.34603953600226]
  適応勾配(AdaGrad)は、ディープラーニングの強力なツールとして登場した。 AdaGradを包括的に分析し、文献の既存のギャップを埋める。
  論文  参考訳（メタデータ） (2024-09-08T08:29:51Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing [1.6114012813668932]
  微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。 我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。 我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
  論文  参考訳（メタデータ） (2024-02-19T00:43:22Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。