論文の概要: A Minimal ReLU Classifier on Non-Linearly Separable Data: Convergence and Implicit Bias at and beyond the Edge of Stability

• arxiv url: http://arxiv.org/abs/2610.23007v1
• Date: Fri, 16 Oct 2026 06:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.796507
• Title: A Minimal ReLU Classifier on Non-Linearly Separable Data: Convergence and Implicit Bias at and beyond the Edge of Stability
• Title（参考訳）: 非Linearly Separable Data上の最小ReLU分類器:安定性の端点の収束と入射バイアス
• Abstract要約: 古典的スムーズ性に基づく学習条件に違反しても、勾配降下(GD)設定がネットワークの最適化に成功できることが示される。 具体的には,線形学習体制以外の2つの制度を解析する。 我々は、このスケジュールがより多くのデータに対して$O(/logT)$よりも高速な損失率を達成することを証明している。
• 参考スコア（独自算出の注目度）: 14.08915249552023
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Gradient descent (GD) with large learning rates can successfully optimize neural networks even though classical smoothness-based learning rate conditions are violated. Yet theory for this regime largely covers linear models or linearly separable data. We analyze a minimal setting outside both regimes. Specifically, a two-neuron ReLU network trained with logistic loss on 1D non-linearly separable data. The objective is nonconvex and nonsmooth, and GD exhibits edge-of-stability (EoS) behavior. We identify an active cone in parameter space that contains every perfect classifier, where the problem becomes piecewise logistic regression with a varying effective dataset. Within this cone, we prove a finite-time loss bound for constant learning rates and show that GD converges in direction to an explicit max-margin vector, while the orthogonal component converges to the unique minimizer of a non-strongly convex potential. We further establish catapult results where exponentially small loss is reached after a single loss spike. Furthermore, we propose an adaptive schedule that lets learning rates grow to infinity without leaving the active cone. We prove that this schedule achieves a loss rate of $O(1/(T\log{T})$, which is faster than the standard $O(1/T)$ rate. Our theoretical results extend to local convergence on more general network and are validated on MNIST dataset. Overall, we show that this setup provides a tractable neural-network model for studying large and adaptive step sizes beyond linear predictors and separable data.
• Abstract（参考訳）: 学習率の高い勾配降下(GD)は、古典的滑らか性に基づく学習率条件に違反しているにもかかわらず、ニューラルネットワークの最適化に成功することができる。 しかし、この状態の理論は、主に線形モデルや線形分離可能なデータをカバーしている。 両体制の外での最小限の設定を分析します。 具体的には、1次元非線形分離可能なデータに対してロジスティック損失をトレーニングした2つのニューロンReLUネットワークである。 目的は非凸と非平滑であり、GDはエッジ・オブ・ステイビリティ(EoS)の振る舞いを示す。 パラメータ空間にすべての完全分類器を含むアクティブコーンを同定し, 有効データセットが変化すると, 問題ごとのロジスティック回帰が生じる。 この円錐の中では、一定の学習速度に制限される有限時間損失を証明し、GD が明示的な最大マルジンベクトルに収束する一方、直交成分は非強凸ポテンシャルの特異極小に収束することを示す。 さらに,1回の損失スパイク後に指数関数的に小さな損失に達するカタパルト結果を確立した。 さらに,能動円錐を残さずに学習率を無限に向上させる適応スケジュールを提案する。 このスケジュールは、標準的な$O(1/T)$よりも高速な$O(1/(T\log{T})$の損失率を達成することを証明している。 我々の理論的結果は、より一般的なネットワーク上の局所収束にまで拡張され、MNISTデータセット上で検証される。 全体として、このセットアップは、線形予測器や分離可能なデータを超えた、大規模で適応的なステップサイズを研究するための、トラクタブルなニューラルネットワークモデルを提供する。

関連論文リスト

• Convergence of Steepest Descent and Adam under Non-Uniform Smoothness [9.95160888054888]
  分離可能なデータに対するロジスティック回帰では、RMSPropとAdamは線形収束し、GDよりも確実に高速であることを示す。 また、分離可能なデータ上の2層ニューラルネットワークのクラスに対して、RMSPropとAdamは定数のステップサイズと運動量パラメータで線形速度で収束可能であることを示す。
  論文  参考訳（メタデータ） (2026-05-28T23:05:45Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Fast Convergence in Learning Two-Layer Neural Networks with Separable Data [37.908159361149835]
  2層ニューラルネット上の正規化勾配勾配について検討した。 正規化GDを用いてトレーニング損失の線形収束率を大域的最適に導くことを証明する。
  論文  参考訳（メタデータ） (2023-05-22T20:30:10Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• The Implicit Bias of Gradient Descent on Separable Data [44.98410310356165]
  予測器は最大マージン(シャープマージンSVM)解の方向へ収束することを示す。 これは、トレーニングエラーがゼロになった後もロジスティックまたはクロスエントロピー損失を最適化し続ける利点を説明するのに役立つ。
  論文  参考訳（メタデータ） (2017-10-27T21:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。