論文の概要: Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region

• arxiv url: http://arxiv.org/abs/2509.25351v2
• Date: Fri, 03 Oct 2025 00:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 12:05:48.052838
• Title: Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region
• Title（参考訳）: 大きなステップサイズを持つグラディエントDescent:カオスとフラクタル収束領域
• Authors: Shuang Liang, Guido Montúfar,
• Abstract要約: パラメータ空間は大きなステップサイズで行列分解におけるフラクタル構造を発達させることを示す。 以上の結果から, 近臨界ステップサイズは, 長期変動が予測不可能な, 勾配降下のカオス的な状態を引き起こすことが明らかとなった。
• 参考スコア（独自算出の注目度）: 16.679678607924007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine gradient descent in matrix factorization and show that under large step sizes the parameter space develops a fractal structure. We derive the exact critical step size for convergence in scalar-vector factorization and show that near criticality the selected minimizer depends sensitively on the initialization. Moreover, we show that adding regularization amplifies this sensitivity, generating a fractal boundary between initializations that converge and those that diverge. The analysis extends to general matrix factorization with orthogonal initialization. Our findings reveal that near-critical step sizes induce a chaotic regime of gradient descent where the long-term dynamics are unpredictable and there are no simple implicit biases, such as towards balancedness, minimum norm, or flatness.
• Abstract（参考訳）: 行列分解における勾配勾配勾配について検討し, 大きなステップサイズでパラメータ空間がフラクタル構造を発達することを示す。 我々はスカラーベクトル分解における収束の正確な臨界ステップサイズを導出し、選択された最小値のほぼ臨界度が初期化に敏感に依存することを示す。 さらに、正規化の追加はこの感度を増幅し、収束する初期化と発散する初期化との間のフラクタル境界を生成することを示す。 この解析は直交初期化を伴う一般行列分解にまで拡張される。 以上の結果から, 比較的臨界に近いステップサイズは, 長期的ダイナミクスが予測不可能であり, バランス性, 最小ノルム, 平坦性といった単純な暗黙バイアスが存在しない, 勾配降下のカオス的機構を生じさせることが明らかとなった。

関連論文リスト

• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Gradient descent in matrix factorization: Understanding large initialization [6.378022003282206]
  このフレームワークは信号対雑音比の概念と帰納的議論に基づいている。 その結果、GDにおける暗黙的な漸進的な学習現象が明らかとなり、大きなシナリオにおけるそのパフォーマンスをより深く理解することが可能になる。
  論文  参考訳（メタデータ） (2023-05-30T16:55:34Z)
• Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization [16.325663190517773]
  我々は、任意の過パラメータ化を持つ自然な非定式化の下で、非対称な分解問題を考察する。 観測された行列に対して最高の低ランク近似を生成する。
  論文  参考訳（メタデータ） (2022-03-06T00:07:53Z)
• Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction [35.585697639325105]
  本稿では,小さなランダム初期化が完全には理解されていないことを示す。 我々は、小さな乱数行列から勾配を再構成し、低い乱数行列から最適勾配に類似した解を求める。
  論文  参考訳（メタデータ） (2021-06-28T22:52:39Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。