Fugu-MT 論文翻訳(概要): Towards a General Theory of Infinite-Width Limits of Neural Classifiers

論文の概要: Towards a General Theory of Infinite-Width Limits of Neural Classifiers

arxiv url: http://arxiv.org/abs/2003.05884v3
Date: Fri, 23 Oct 2020 20:02:51 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 13:55:19.426963
Title: Towards a General Theory of Infinite-Width Limits of Neural Classifiers
Title（参考訳）: 神経分類器の無限幅極限の一般理論に向けて
Authors: Eugene A. Golikov
Abstract要約: 離散時間 MF の制限を生じるフレームワークを示す。 MF と NTK の2つの制限は,有限サイズのニューラルネットの近似にかなりの制限があることを示す。
参考スコア（独自算出の注目度）: 6.09170287691728
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Obtaining theoretical guarantees for neural networks training appears to be a hard problem in a general case. Recent research has been focused on studying this problem in the limit of infinite width and two different theories have been developed: a mean-field (MF) and a constant kernel (NTK) limit theories. We propose a general framework that provides a link between these seemingly distinct theories. Our framework out of the box gives rise to a discrete-time MF limit which was not previously explored in the literature. We prove a convergence theorem for it and show that it provides a more reasonable approximation for finite-width nets compared to the NTK limit if learning rates are not very small. Also, our framework suggests a limit model that coincides neither with the MF limit nor with the NTK one. We show that for networks with more than two hidden layers RMSProp training has a non-trivial discrete-time MF limit but GD training does not have one. Overall, our framework demonstrates that both MF and NTK limits have considerable limitations in approximating finite-sized neural nets, indicating the need for designing more accurate infinite-width approximations for them.
Abstract（参考訳）: ニューラルネットワークトレーニングの理論的保証を得ることは、一般的なケースでは難しい問題である。近年、この問題を無限幅の極限で研究することに焦点を当て、平均場(MF)と定数核(NTK)の2つの異なる理論が開発されている。本稿では、これらの明らかに異なる理論の関連性を示す一般的な枠組みを提案する。我々のフレームワークは、これまで文献で研究されていなかった離散時間 MF の限界をもたらす。収束定理を証明し、学習率があまり小さい場合のNTK限界と比較して有限幅ネットに対してより合理的な近似を与えることを示す。また,本フレームワークでは,MF制限やNTK制限と一致しない制限モデルを提案する。隠れ層が2つ以上あるネットワークの場合、RMSPropトレーニングは非自明な離散時間MF制限を持つが、GDトレーニングは1つを持たない。全体として、mf と ntk の限界は有限サイズのニューラルネットの近似にかなりの制限があることを示し、より正確な無限幅近似を設計する必要性を示している。

関連論文リスト

Numerical Approximation Capacity of Neural Networks with Bounded Parameters: Do Limits Exist, and How Can They Be Measured? [4.878983382452911]
普遍近似は理論的には実現可能であるが,現実的な数値シナリオでは,Deep Neural Networks (DNN) は有限次元ベクトル空間でしか近似できない。ネットワークの系列の近似能力限界を定量化するために、textit$epsilon$ outer measure と textitNumerical Span Dimension (NSdim) の概念を導入する。
論文参考訳（メタデータ） (2024-09-25T07:43:48Z)
Constrained Empirical Risk Minimization: Theory and Practice [2.4934936799100034]
本稿では,Deep Neural Networks (DNN) などのパラメータ化された関数集合に対する制約の厳格化を可能にするフレームワークを提案する。我々は、幾何学的深層学習で使用される同変ネットワークの範囲外にある制約に焦点を当てる。このフレームワークの主な例として、畳み込みニューラルネットワーク(CNN)のフィルタをウェーブレットに制限し、これらのウェーブレットネットワークを医療領域における輪郭予測のタスクに適用する。
論文参考訳（メタデータ） (2023-02-09T16:11:58Z)
A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文参考訳（メタデータ） (2022-10-28T17:26:27Z)
Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文参考訳（メタデータ） (2021-12-10T15:06:11Z)
Limiting fluctuation and trajectorial stability of multilayer neural networks with mean field training [3.553493344868413]
ネットワーク深度における多層ネットワークの場合の変動について検討する。この2階のMF限界におけるニューロン間の複雑な相互作用の枠組みを実演する。極限定理は、この極限と大幅ネットワークのゆらぎを関連付けることが証明されている。
論文参考訳（メタデータ） (2021-10-29T17:58:09Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)
Dynamically Stable Infinite-Width Limits of Neural Classifiers [6.09170287691728]
本稿では,ニューラルネットワークの限界挙動が,ネットワーク幅を持つハイパーパラメータのスケーリングにどのように依存するかを検討するための一般的な枠組みを提案する。既存の MF と NTK の極限モデルと1つの新しい極限モデルは、有限幅モデルによって示されるほとんどの特性を満たす。
論文参考訳（メタデータ） (2020-06-11T16:23:46Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。