論文の概要: Implicit regularization of deep residual networks towards neural ODEs

• arxiv url: http://arxiv.org/abs/2309.01213v3
• Date: Fri, 5 Jul 2024 07:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 01:01:54.446731
• Title: Implicit regularization of deep residual networks towards neural ODEs
• Title（参考訳）: ニューラル・オードへの深い残留ネットワークの入射正則化
• Authors: Pierre Marion, Yu-Han Wu, Michael E. Sander, Gérard Biau,
• Abstract要約: 我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。 ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
• 参考スコア（独自算出の注目度）: 8.075122862553359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Residual neural networks are state-of-the-art deep learning models. Their continuous-depth analog, neural ordinary differential equations (ODEs), are also widely used. Despite their success, the link between the discrete and continuous models still lacks a solid mathematical foundation. In this article, we take a step in this direction by establishing an implicit regularization of deep residual networks towards neural ODEs, for nonlinear networks trained with gradient flow. We prove that if the network is initialized as a discretization of a neural ODE, then such a discretization holds throughout training. Our results are valid for a finite training time, and also as the training time tends to infinity provided that the network satisfies a Polyak-Lojasiewicz condition. Importantly, this condition holds for a family of residual networks where the residuals are two-layer perceptrons with an overparameterization in width that is only linear, and implies the convergence of gradient flow to a global minimum. Numerical experiments illustrate our results.
• Abstract（参考訳）: 残留ニューラルネットワークは最先端のディープラーニングモデルである。 その連続深度アナログであるニューラル常微分方程式(ODE)も広く用いられている。 彼らの成功にもかかわらず、離散モデルと連続モデルの間の関係は依然としてしっかりとした数学的基礎を欠いている。 本稿では、勾配流を学習した非線形ネットワークに対して、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立することにより、この方向への一歩を踏み出す。 ネットワークがニューラルなODEの離散化として初期化されている場合、そのような離散化はトレーニングを通して維持されることを示す。 また,ネットワークがPolyak-Lojasiewicz条件を満たす場合,トレーニング時間は無限大となる傾向にある。 重要なことに、この条件は、残差が2層パーセプトロンであり、線形にしかならない幅で過度にパラメータ化されている残差ネットワークの族であり、大域的な最小値への勾配流の収束を意味する。 数値実験は我々の結果を例証する。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Local Extreme Learning Machines and Domain Decomposition for Solving Linear and Nonlinear Partial Differential Equations [0.0]
  本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。 この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。 本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
  論文  参考訳（メタデータ） (2020-12-04T23:19:39Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。