論文の概要: Random Neural Networks in the Infinite Width Limit as Gaussian Processes
- arxiv url: http://arxiv.org/abs/2107.01562v1
- Date: Sun, 4 Jul 2021 07:00:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 04:17:15.902764
- Title: Random Neural Networks in the Infinite Width Limit as Gaussian Processes
- Title(参考訳): ガウス過程としての無限幅限界におけるランダムニューラルネットワーク
- Authors: Boris Hanin
- Abstract要約: 本稿では、入力次元、出力次元、深さが固定された状態において、ランダムな重みとバイアスを持つ完全連結ニューラルネットワークがガウス過程に収束することを示す。
以前の研究とは異なり、収束は重みの分布と非常に一般的な非線形性に対してのみモーメント条件を仮定して示される。
- 参考スコア(独自算出の注目度): 16.75218291152252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article gives a new proof that fully connected neural networks with
random weights and biases converge to Gaussian processes in the regime where
the input dimension, output dimension, and depth are kept fixed, while the
hidden layer widths tend to infinity. Unlike prior work, convergence is shown
assuming only moment conditions for the distribution of weights and for quite
general non-linearities.
- Abstract(参考訳): 本稿では、入力次元、出力次元、深さが固定された状態において、ランダムな重みとバイアスを持つ完全連結ニューラルネットワークがガウス過程に収束し、隠れた層幅が無限大になることを示す。
以前の仕事とは異なり、収束は重みの分布と非常に一般的な非線形性のモーメント条件のみを仮定している。
関連論文リスト
- On the Neural Tangent Kernel of Equilibrium Models [72.29727250679477]
本研究は、Deep equilibrium(DEQ)モデルのニューラル・タンジェント・カーネル(NTK)を研究する。
一方,DECモデルでは,幅と深さが無限大であるにもかかわらず,まだ決定論的NTKを満足していることを示す。
論文 参考訳(メタデータ) (2023-10-21T16:47:18Z) - Quantitative CLTs in Deep Neural Networks [13.780739674182868]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。
我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。
我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文 参考訳(メタデータ) (2023-07-12T11:35:37Z) - Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks
under Weights with Unbounded Variance [1.8855270809505869]
隠れた層を持つベイズニューラルネットワークの無限幅スケーリング限界がガウス過程であることが知られている。
我々の貢献は、Emphconditionally Gaussian表現を用いて、後部推論の解釈可能で計算的に効率的な手順である。
論文 参考訳(メタデータ) (2023-05-18T02:55:00Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Quantitative Gaussian Approximation of Randomly Initialized Deep Neural
Networks [1.0878040851638]
隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。
我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
論文 参考訳(メタデータ) (2022-03-14T14:20:19Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳(メタデータ) (2020-07-11T22:10:52Z) - Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。
NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
論文 参考訳(メタデータ) (2020-03-01T04:07:30Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳(メタデータ) (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。