論文の概要: Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?

• arxiv url: http://arxiv.org/abs/2507.11228v1
• Date: Tue, 15 Jul 2025 11:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:03.096626
• Title: Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?
• Title（参考訳）: ロジスティック回帰に関するグラディエントDescent: 大規模ステップサイズは球面のデータを扱うか?
• Authors: Si Yi Meng, Baptiste Goujaud, Antonio Orvieto, Christopher De Sa,
• Abstract要約: 本稿では,データの等等級制限がグローバルコンバージェンスに十分な条件であるかどうかを考察する。 これを1次元空間で証明するが、より高次元ではサイクリングの振る舞いが生じることがある。 現実的なデータセットにおいて、これらのサイクルがどの程度一般的であるかを定量化するためのさらなる研究を希望する。
• 参考スコア（独自算出の注目度）: 40.358326886432664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient descent (GD) on logistic regression has many fascinating properties. When the dataset is linearly separable, it is known that the iterates converge in direction to the maximum-margin separator regardless of how large the step size is. In the non-separable case, however, it has been shown that GD can exhibit a cycling behaviour even when the step sizes is still below the stability threshold $2/\lambda$, where $\lambda$ is the largest eigenvalue of the Hessian at the solution. This short paper explores whether restricting the data to have equal magnitude is a sufficient condition for global convergence, under any step size below the stability threshold. We prove that this is true in a one dimensional space, but in higher dimensions cycling behaviour can still occur. We hope to inspire further studies on quantifying how common these cycles are in realistic datasets, as well as finding sufficient conditions to guarantee global convergence with large step sizes.
• Abstract（参考訳）: ロジスティック回帰における勾配降下(GD)は多くの魅力的な性質を持っている。 データセットが線形分離可能である場合、ステップサイズの大きさに関わらず、イテレーションが最大マージンセパレータに方向収束することが知られている。 しかし、非分離の場合、GD は安定しきい値 2/\lambda$ 以下のステップサイズであってもサイクリング挙動を示すことが示されており、ここでは、$\lambda$ は解におけるヘッセンの最大の固有値である。 本稿では, 安定しきい値以下の任意のステップサイズにおいて, 等等大データの制限がグローバル収束の十分な条件であるか否かを考察する。 これは一次元空間において真であることが証明されているが、高次元ではサイクリングの振る舞いが生じることがある。 我々は、これらのサイクルが現実的なデータセットでどの程度一般的であるかを定量化するためのさらなる研究を刺激し、大きなステップサイズでグローバルな収束を保証するのに十分な条件を見つけることを望んでいます。

関連論文リスト

• Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression [9.15420898792103]
  線形分離可能なデータを用いた$ell$-regularized logistic regressionの段差が一定である勾配降下(GD)について検討した。 これは、単に大きなステップサイズを使用することで、$widetildemathcalO(sqrtkappa)$に加速できることを示す。
  論文  参考訳（メタデータ） (2025-06-03T00:21:22Z)
• Stochastic Gradient Descent in Non-Convex Problems: Asymptotic Convergence with Relaxed Step-Size via Stopping Time Methods [13.677904140815386]
  Gradient Descent (SGD) は機械学習の研究で広く使われている。 本稿では,より緩やかなステップサイズ条件下でのSGDの収束解析法を提案する。
  論文  参考訳（メタデータ） (2025-04-17T02:56:20Z)
• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes [38.595892152591595]
  我々は,大きく,一定のステップサイズを持つロジスティック回帰問題における降下ダイナミクスについて検討した。 局所収束は臨界ステップサイズより小さい全てのステップサイズに対して保証されるが、大域収束は保証されない。
  論文  参考訳（メタデータ） (2024-06-07T15:53:06Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。