論文の概要: Non-asymptotic approximations of neural networks by Gaussian processes
- arxiv url: http://arxiv.org/abs/2102.08668v1
- Date: Wed, 17 Feb 2021 10:19:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-18 14:41:31.949427
- Title: Non-asymptotic approximations of neural networks by Gaussian processes
- Title(参考訳): ガウス過程によるニューラルネットワークの非漸近近似
- Authors: Ronen Eldan and Dan Mikulincer and Tselil Schramm
- Abstract要約: ランダムな重みを持つ場合、ガウス過程によって広いニューラルネットワークが近似される程度を研究する。
ネットワークの幅が無限大になるにつれて、その法則はガウス過程に収束する。
- 参考スコア(独自算出の注目度): 7.56714041729893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the extent to which wide neural networks may be approximated by
Gaussian processes when initialized with random weights. It is a
well-established fact that as the width of a network goes to infinity, its law
converges to that of a Gaussian process. We make this quantitative by
establishing explicit convergence rates for the central limit theorem in an
infinite-dimensional functional space, metrized with a natural transportation
distance. We identify two regimes of interest; when the activation function is
polynomial, its degree determines the rate of convergence, while for
non-polynomial activations, the rate is governed by the smoothness of the
function.
- Abstract(参考訳): ランダム重み付き初期化において,広範ニューラルネットワークがガウス過程によって近似される範囲について検討する。
ネットワークの幅が無限大に近づくにつれて、その法則はガウス過程の法則に収束する、という確固たる事実である。
自然輸送距離で測量された無限次元関数空間において、中心極限定理の明示的な収束率を定式化する。
活性化関数が多項式であるとき、その程度は収束の速度を決定するが、非多項式活性化の場合、その速度は関数の滑らかさによって支配される。
関連論文リスト
- Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳(メタデータ) (2023-12-18T22:29:40Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳(メタデータ) (2023-03-01T10:38:10Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Rate of Convergence of Polynomial Networks to Gaussian Processes [0.0]
ランダムな重みを持つ一層ニューラルネットワークについて検討する。
無限に活性化するネットワークの場合、2-ワッサーシュタイン計量におけるこの収束の速度は$O(n-frac12)$であり、$n$は隠れたニューロンの数である。
我々は、他のアクティベーションに対する既知の収束率を、ReLUの$n$のパワーロー、erfの対数係数の逆二乗根へと改善する。
論文 参考訳(メタデータ) (2021-11-04T21:58:21Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
本稿では、無限に広いネットワークとガウス過程の等価性を示す。
我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
論文 参考訳(メタデータ) (2021-01-07T02:29:15Z) - Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文 参考訳(メタデータ) (2020-08-19T18:00:06Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。