Fugu-MT 論文翻訳(概要): Convergence Guarantees of Gradient Descent for Neural Networks via Generalized Lipschitz Smoothness

論文の概要: Convergence Guarantees of Gradient Descent for Neural Networks via Generalized Lipschitz Smoothness

arxiv url: http://arxiv.org/abs/2608.11479v1
Date: Tue, 11 Aug 2026 22:43:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 19:07:54.396857
Title: Convergence Guarantees of Gradient Descent for Neural Networks via Generalized Lipschitz Smoothness
Title（参考訳）: 一般化リプシッツ平滑性によるニューラルネットワークの勾配輝度の収束保証
Abstract要約: 任意の幅または深さの一般フィードフォワードニューラルネットワークに対する勾配勾配の収束保証を確立する。活性化関数はリプシッツ滑らか、リプシッツ連続、線形有界---- が線型、タン、ソフトプラス、シグモイド活性化関数に対して成り立つことを仮定する。
参考スコア（独自算出の注目度）: 22.183624306817563
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We establish convergence guarantees of gradient descent for general feedforward neural networks of arbitrary width or depth, with no special requirements on the initialization or dataset. We only assume that the activation functions are Lipschitz smooth, Lipschitz continuous, and linearly bounded--- properties that hold for linear, tanh, softplus, and sigmoid activation functions. For the loss function, we require that it is Lipschitz smooth in the model outputs, which is true for mean-squared error. The key theoretical insight is that the Lipschitz properties of the activation functions are partially preserved even through repeated compositions, leading to a novel generalized Lipschitz smoothness condition where the change in gradient is upper bounded by the change in the parameter space, multiplied by polynomial terms of the parameter norms at both endpoints. This type of condition holds for both the model function and the loss function, enabling a descent lemma where the loss decreases as long as the learning rate is small enough with respect to the parameter norms. By ensuring that the parameter norms do not grow too quickly to infinity, we prove that the minimum squared gradient norm converges to zero in $T$ iterations at rate $O(1/T^{1/L})$ for an $L$-layer neural network.
Abstract（参考訳）: 任意の幅や深さの一般フィードフォワードニューラルネットワークに対して,初期化やデータセットに関する特別な要件を伴わず,勾配勾配の保証を確立する。活性化関数はリプシッツ滑らか、リプシッツ連続、線型有界---- が線型、タン、ソフトプラス、シグモイド活性化関数に対して成り立つことを仮定するのみである。損失関数に対しては、モデル出力においてリプシッツが滑らかであることが要求されるが、これは平均二乗誤差に対して真である。重要な理論的な洞察は、活性化関数のリプシッツの性質は繰り返し合成しても部分的に保存され、両方の端点におけるパラメータノルムの多項式項に乗じて、勾配の変化がパラメータ空間の変化によって上界となるような、より一般化されたリプシッツ滑らか性条件へと導かれるということである。このタイプの条件は、モデル関数と損失関数の両方に当てはまり、パラメータノルムに対して学習率が十分に小さい限り、損失が減少する降下補題を可能にする。パラメータノルムが無限大に急激な成長をしないよう保証することにより、最小二乗勾配ノルムが$O(1/T^{1/L})$$$$L$層ニューラルネットワークに対して$T$反復でゼロに収束することを証明できる。

関連論文リスト

Near-optimal delta-convex estimation of Lipschitz functions [0.913755431537592]
本稿では,雑音観測から未知のリプシッツ関数を推定するためのトラクタブルアルゴリズムを提案する。フレームワークは、形状制限された回帰に適応するのも簡単です。
論文参考訳（メタデータ） (2025-11-19T17:02:30Z)
A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。特に、文献でよく見られるように、損失関数の有界性を必要としない。回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
論文参考訳（メタデータ） (2025-03-03T23:34:12Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文参考訳（メタデータ） (2024-01-25T09:23:31Z)
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文参考訳（メタデータ） (2023-06-30T09:17:39Z)
Some Fundamental Aspects about Lipschitz Continuity of Neural Networks [6.576051895863941]
リプシッツ連続性は任意の予測モデルの重要な機能特性である。ニューラルネットワークのリプシッツ挙動を調べた。リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
論文参考訳（メタデータ） (2023-02-21T18:59:40Z)
Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。リプシッツ定数をユーザ定義上界を用いて明示的に制御する。いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文参考訳（メタデータ） (2021-12-27T07:03:43Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。彼らは不利な姿勢と収束の不安定さに悩まされる。本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文参考訳（メタデータ） (2021-06-06T18:05:02Z)
Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文参考訳（メタデータ） (2020-10-05T01:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。