Fugu-MT 論文翻訳(概要): Generalization bounds for neural ordinary differential equations and deep residual networks

論文の概要: Generalization bounds for neural ordinary differential equations and deep residual networks

arxiv url: http://arxiv.org/abs/2305.06648v2
Date: Wed, 11 Oct 2023 21:32:57 GMT
ステータス: 処理完了
システム内更新日: 2023-10-14 15:24:19.571032
Title: Generalization bounds for neural ordinary differential equations and deep residual networks
Title（参考訳）: 神経常微分方程式の一般化境界とディープ残差ネットワーク
Authors: Pierre Marion
Abstract要約: 我々は、連続時間パラメータを持つパラメータ化ニューラル常微分方程式(ニューラルODE)の族を考える。ニューラルネットワークとディープ残差ネットワークの類似を利用して、我々はディープ残差ネットワークのクラスを一般化する。
参考スコア（独自算出の注目度）: 1.2328446298523066
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural ordinary differential equations (neural ODEs) are a popular family of continuous-depth deep learning models. In this work, we consider a large family of parameterized ODEs with continuous-in-time parameters, which include time-dependent neural ODEs. We derive a generalization bound for this class by a Lipschitz-based argument. By leveraging the analogy between neural ODEs and deep residual networks, our approach yields in particular a generalization bound for a class of deep residual networks. The bound involves the magnitude of the difference between successive weight matrices. We illustrate numerically how this quantity affects the generalization capability of neural networks.
Abstract（参考訳）: ニューラル常微分方程式(Neural ordinary differential equations,neural ODEs)は、連続深層学習モデルの一般的なファミリーである。本研究では、時間依存型ニューラルODEを含む連続時間パラメータを持つパラメータ化ODEの大規模なファミリーを考える。このクラスに対する一般化は、リプシッツに基づく議論によって導かれる。ニューラルodeとディープ残差ネットワークの類似性を利用することで、特にディープ残差ネットワークのクラスに束縛された一般化を実現する。境界は、連続する重み行列間の差の大きさを含む。この量がニューラルネットワークの一般化能力にどのように影響するかを数値的に示す。

関連論文リスト

Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文参考訳（メタデータ） (2023-10-16T19:00:43Z)
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文参考訳（メタデータ） (2023-01-28T00:06:22Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文参考訳（メタデータ） (2021-12-08T16:17:33Z)
Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文参考訳（メタデータ） (2021-10-29T07:53:35Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文参考訳（メタデータ） (2020-10-29T15:05:43Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。