論文の概要: GD doesn't make the cut: Three ways that non-differentiability affects neural network training
- arxiv url: http://arxiv.org/abs/2401.08426v5
- Date: Thu, 07 Nov 2024 18:22:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 11:31:52.993998
- Title: GD doesn't make the cut: Three ways that non-differentiability affects neural network training
- Title（参考訳）: GDはカットしない:非微分可能性がニューラルネットワークトレーニングに影響を及ぼす3つの方法
- Authors: Siddharth Krishna Kumar,
- Abstract要約: 本稿では,非微分可能関数(NGDM)に適用される手法と,微分可能関数に対する古典的勾配降下(GD)との区別を批判的に検討する。
我々の研究は、強い仮定に対する過度な信頼から生まれた、影響力のある文学におけるアルゴリズムの批判的な誤解を識別する。
- 参考スコア（独自算出の注目度）: 5.439020425819001
- License:
- Abstract: This paper critically examines the fundamental distinctions between gradient methods applied to non-differentiable functions (NGDMs) and classical gradient descents (GDs) for differentiable functions, revealing significant gaps in current deep learning optimization theory. We demonstrate that NGDMs exhibit markedly different convergence properties compared to GDs, strongly challenging the applicability of extensive neural network convergence literature based on $L-smoothness$ to non-smooth neural networks. Our analysis reveals paradoxical behavior of NDGM solutions for $L_{1}$-regularized problems, where increasing regularization counterintuitively leads to larger $L_{1}$ norms of optimal solutions. This finding calls into question widely adopted $L_{1}$ penalization techniques for network pruning. We further challenge the common assumption that optimization algorithms like RMSProp behave similarly in differentiable and non-differentiable contexts. Expanding on the Edge of Stability phenomenon, we demonstrate its occurrence in a broader class of functions, including Lipschitz continuous convex differentiable functions. This finding raises important questions about its relevance and interpretation in non-convex, non-differentiable neural networks, particularly those using ReLU activations. Our work identifies critical misunderstandings of NDGMs in influential literature, stemming from an overreliance on strong smoothness assumptions. These findings necessitate a reevaluation of optimization dynamics in deep learning, emphasizing the crucial need for more nuanced theoretical foundations in analyzing these complex systems.
- Abstract（参考訳）: 本稿では,非微分可能関数(NGDM)に適用される勾配法と微分可能関数に対する古典勾配降下法(GD)の基本的な相違を批判的に検討し,現在のディープラーニング最適化理論における重要なギャップを明らかにした。
NGDMはGDとは大きく異なる収束特性を示し,非滑らかなニューラルネットワークに対する$L-smoothness$に基づく広範ニューラルネットワーク収束文学の適用性に強く挑戦している。
解析の結果,NDGMの正則化問題に対するパラドックス的挙動が明らかになり,正則化の増大が最適解のより大きい$L_{1}$ノルムにつながることがわかった。
この発見コールは、ネットワークプルーニングのためのL_{1}$ペナル化テクニックを広く採用している。
さらに、RMSPropのような最適化アルゴリズムは、微分可能で微分不可能な文脈でも同じように振る舞うという一般的な仮定に挑戦する。
安定性現象のエッジを拡張することで、リプシッツ連続凸微分関数を含むより広範な関数のクラスでその発生を実証する。
この発見は、非凸で微分不可能なニューラルネットワーク、特にReLUアクティベーションを使用するニューラルネットワークにおける、その関連性と解釈に関する重要な疑問を提起する。
我々の研究は、強い滑らかさの仮定に対する過度な信頼から生まれた、影響力のある文学におけるNDGMの批判的な誤解を識別する。
これらの知見は、深層学習における最適化力学の再評価を必要とし、これらの複雑なシステムを分析する上で、より微妙な理論基盤の必要性を強調している。
関連論文リスト
- On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。
本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。
また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
論文 参考訳（メタデータ） (2024-09-09T06:10:31Z) - Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。
IGDは線形収束速度で大域的に最適解を収束することを示す。
論文 参考訳（メタデータ） (2024-07-03T06:10:41Z) - Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations [5.731640425517324]
特定の条件下では、広いニューラルネットワークによってPINNの残留損失を世界規模で最小化できることを示す。
良好な高次導関数を持つ活性化関数は、残留損失を最小限に抑える上で重要な役割を果たす。
確立された理論は、PINNの効果的な活性化関数の設計と選択の道を開く。
論文 参考訳（メタデータ） (2024-05-02T19:08:59Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Approximation Power of Deep Neural Networks: an explanatory mathematical
survey [0.0]
本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。
我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
論文 参考訳（メタデータ） (2022-07-19T18:47:44Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳（メタデータ） (2020-11-03T17:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。