論文の概要: Why Smooth Stability Assumptions Fail for ReLU Learning

• arxiv url: http://arxiv.org/abs/2512.22055v1
• Date: Fri, 26 Dec 2025 15:17:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:59:46.747866
• Title: Why Smooth Stability Assumptions Fail for ReLU Learning
• Title（参考訳）: 滑らかな安定性がReLU学習に失敗する理由
• Authors: Ronald Katende,
• Abstract要約: 均一なスムーズ性に基づく安定プロキシがReLUネットワークに対してグローバルに保持できないことを示す。 古典的安定性境界の失敗を示す具体的な反例を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Stability analyses of modern learning systems are frequently derived under smoothness assumptions that are violated by ReLU-type nonlinearities. In this note, we isolate a minimal obstruction by showing that no uniform smoothness-based stability proxy such as gradient Lipschitzness or Hessian control can hold globally for ReLU networks, even in simple settings where training trajectories appear empirically stable. We give a concrete counterexample demonstrating the failure of classical stability bounds and identify a minimal generalized derivative condition under which stability statements can be meaningfully restored. The result clarifies why smooth approximations of ReLU can be misleading and motivates nonsmooth-aware stability frameworks.
• Abstract（参考訳）: 現代の学習システムの安定性解析は、ReLU型非線形性に反する滑らかな仮定の下でしばしば導出される。 本稿では,トレーニング軌道が実験的に安定な単純な設定であっても,勾配リプシッツネスやヘッセン制御などの均一なスムーズ性に基づく安定性プロキシがReLUネットワークに対してグローバルに保持できないことを示すことにより,最小限の障害を分離する。 古典的安定性境界の失敗を示す具体的な反例を示し、安定性ステートメントを有意に復元できる最小の一般化微分条件を同定する。 その結果、ReLUのスムーズな近似が誤解を招く可能性がある理由を明らかにし、非スムーズな安定性フレームワークを動機付けている。

関連論文リスト

• LILAD: Learning In-context Lyapunov-stable Adaptive Dynamics Models [4.66260462241022]
  LILADは、安定性と適応性を共同で保証する、システム識別のための新しいフレームワークである。 我々は、LILADをベンチマーク自律システム上で評価し、適応性、堅牢性、非適応性のベースラインを予測精度で上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-26T19:20:49Z)
• React to Surprises: Stable-by-Design Neural Feedback Control and the Youla-REN [43.988843102040725]
  学習に基づく制御のための非線形ポリシーの安定化のパラメータ化について検討する。 本稿では,ユラ・クーラパラメータ化の非線形バージョンとロバストニューラルネットワークを組み合わせた構造を提案する。
  論文  参考訳（メタデータ） (2025-06-02T00:36:24Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent [16.849376037005452]
  ニューラルネットワークのサドル点を2つのタイプに分けることができ、その中では、勾配ノイズがサドルで消えてしまうため、タイプIIサドルが特に逃れるのが困難である。 これらのサドルの周りのSGDのダイナミクスは、ランダム行列積プロセスによって記述される先行次数へと導かれる。 我々は,サドル点がSGDに対して魅力的あるいは反発的であり,その力学は,サドルに近い勾配の信号-雑音比に応じて,4つの異なる位相に分類できることを示す。
  論文  参考訳（メタデータ） (2023-03-23T08:17:10Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。