論文の概要: On the infinite-depth limit of finite-width neural networks
- arxiv url: http://arxiv.org/abs/2210.00688v1
- Date: Mon, 3 Oct 2022 02:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:42:38.213503
- Title: On the infinite-depth limit of finite-width neural networks
- Title(参考訳): 有限幅ニューラルネットワークの無限大極限について
- Authors: Soufiane Hayou
- Abstract要約: ランダムなガウス重みを持つ有限幅残留ニューラルネットワークの無限深さ限界について検討する。
幅を固定し、深さを無限大にすることで、プレアクティベーションのベクトルは分布中にゼロドリフト拡散過程に収束する。
無限深度極限は活性化関数の選択によって異なる分布が得られることを示す。
- 参考スコア(独自算出の注目度): 3.8073142980733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the infinite-depth limit of finite-width residual
neural networks with random Gaussian weights. With proper scaling, we show that
by fixing the width and taking the depth to infinity, the vector of
pre-activations converges in distribution to a zero-drift diffusion process.
Unlike the infinite-width limit where the pre-activation converge weakly to a
Gaussian random variable, we show that the infinite-depth limit yields
different distributions depending on the choice of the activation function. We
document two cases where these distributions have closed-form (different)
expressions. We further show an intriguing phase-transition phenomenon of the
post-activation norms when the width increases from 3 to 4. Lastly, we study
the sequential limit infinite-depth-then-infinite-width, and show some key
differences with the more commonly studied infinite-width-then-infinite-depth
limit.
- Abstract(参考訳): 本稿では,ランダムガウス重みを持つ有限幅残留ニューラルネットワークの無限大極限について検討する。
適切なスケーリングでは、幅を固定し無限大まで深さを取ることで、事前活性化のベクトルがゼロドリフト拡散過程に分布収束することを示す。
プレアクティベーションがガウス確率変数に弱収束する無限幅極限とは異なり、無限深さ極限はアクティベーション関数の選択に応じて異なる分布を生成することを示す。
これらの分布が閉形式(微分)表現を持つ2つのケースを文書化する。
さらに,3から4までの幅が増加すると,ポストアクティベーションノルムの興味深い相転移現象を示す。
最後に、逐次極限である無限幅-then-infinite-widthを研究し、より一般的に研究されている無限幅-then-infinite-depth limitといくつかの重要な違いを示す。
関連論文リスト
- Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。
出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文 参考訳(メタデータ) (2024-11-22T11:25:52Z) - Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。
我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。
我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文 参考訳(メタデータ) (2023-07-12T11:35:37Z) - Width and Depth Limits Commute in Residual Networks [26.97391529844503]
接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。
このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。
理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
論文 参考訳(メタデータ) (2023-02-01T13:57:32Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳(メタデータ) (2021-07-13T12:31:06Z) - Random Neural Networks in the Infinite Width Limit as Gaussian Processes [16.75218291152252]
本稿では、入力次元、出力次元、深さが固定された状態において、ランダムな重みとバイアスを持つ完全連結ニューラルネットワークがガウス過程に収束することを示す。
以前の研究とは異なり、収束は重みの分布と非常に一般的な非線形性に対してのみモーメント条件を仮定して示される。
論文 参考訳(メタデータ) (2021-07-04T07:00:20Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳(メタデータ) (2020-08-21T18:00:50Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳(メタデータ) (2020-07-11T22:10:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。