論文の概要: Doubly infinite residual neural networks: a diffusion process approach
- arxiv url: http://arxiv.org/abs/2007.03253v2
- Date: Sun, 19 Sep 2021 03:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 19:16:28.185209
- Title: Doubly infinite residual neural networks: a diffusion process approach
- Title（参考訳）: 2倍無限残留ニューラルネットワーク:拡散過程アプローチ
- Authors: Stefano Peluchetti and Stefano Favaro
- Abstract要約: ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。
我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。
我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
- 参考スコア（独自算出の注目度）: 8.642603456626393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural networks (NN) featuring a large number of layers (depth) and
units per layer (width) have achieved a remarkable performance across many
domains. While there exists a vast literature on the interplay between
infinitely wide NNs and Gaussian processes, a little is known about analogous
interplays with respect to infinitely deep NNs. NNs with independent and
identically distributed (i.i.d.) initializations exhibit undesirable forward
and backward propagation properties as the number of layers increases. To
overcome these drawbacks, Peluchetti and Favaro (2020) considered
fully-connected residual networks (ResNets) with network's parameters
initialized by means of distributions that shrink as the number of layers
increases, thus establishing an interplay between infinitely deep ResNets and
solutions to stochastic differential equations, i.e. diffusion processes, and
showing that infinitely deep ResNets does not suffer from undesirable
forward-propagation properties. In this paper, we review the results of
Peluchetti and Favaro (2020), extending them to convolutional ResNets, and we
establish analogous backward-propagation results, which directly relate to the
problem of training fully-connected deep ResNets. Then, we investigate the more
general setting of doubly infinite NNs, where both network's width and
network's depth grow unboundedly. We focus on doubly infinite fully-connected
ResNets, for which we consider i.i.d. initializations. Under this setting, we
show that the dynamics of quantities of interest converge, at initialization,
to deterministic limits. This allow us to provide analytical expressions for
inference, both in the case of weakly trained and fully trained ResNets. Our
results highlight a limited expressive power of doubly infinite ResNets when
the unscaled network's parameters are i.i.d. and the residual blocks are
shallow.
- Abstract（参考訳）: 多数のレイヤ(深さ)とレイヤ毎のユニット(幅)を備えた現代のニューラルネットワーク(NN)は、多くのドメインで顕著なパフォーマンスを実現している。
無限に広いNNとガウス過程の相互作用に関する膨大な文献があるが、無限に深いNNに対する類似の相互作用についてはほとんど知られていない。
独立かつ同一分布(i.i.d.)の初期化を持つnnは、層数が増えるにつれて望ましくない前方および後方伝播特性を示す。
これらの欠点を克服するため、Peluchetti と Favaro (2020) はネットワークのパラメータを持つ完全連結残差ネットワーク (ResNets) を、層数が増加するにつれて縮小する分布によって初期化し、無限に深いResNetと確率微分方程式、すなわち拡散過程の解との相互作用を確立し、無限に深いResNetsが望ましくないフォワードプロパゲーション特性を損なわないことを示す。
本稿では, Peluchetti と Favaro (2020) の結果をレビューし,それらを畳み込み ResNet に拡張し, 完全連結深度 ResNet のトレーニング問題に直接関連する類似の後方伝播結果を確立する。
次に,ネットワークの幅とネットワークの深さが非有界に大きくなるような,二重無限NNのより一般的な設定について検討する。
我々は2つの無限完全接続 ResNet に焦点をあてる。
この設定の下では、関心の量のダイナミクスが初期化時に決定論的限界に収束することを示す。
これにより、弱いトレーニングと完全に訓練されたResNetの場合の両方で、推論のための分析式を提供することができます。
その結果,未スケールネットワークのパラメータがi.i.d.であり,残差ブロックが浅い場合,2倍無限のresnetの表現力の制限が浮き彫りになった。
関連論文リスト
- Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2024-03-14T21:48:00Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Convergence Analysis of Deep Residual Networks [3.274290296343038]
ディープ・Residual Networks (ResNets) は、コンピュータビジョンにおいて非常に有用であることを示すため、特に重要である。
本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向にあるとして特徴付けることを目的とする。
論文 参考訳（メタデータ） (2022-05-13T11:53:09Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。
ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文 参考訳（メタデータ） (2021-06-23T18:16:34Z) - The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width
Limit at Initialization [18.613475245655806]
ReLU ResNets in the infinite-depth-and-width limit, where both depth and width tend to infinity as their ratio, $d/n$。
モンテカルロシミュレーションを用いて、標準ResNetアーキテクチャの基本的な性質でさえガウス極限で十分に捉えられていないことを示した。
論文 参考訳（メタデータ） (2021-06-07T23:47:37Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable
Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。
我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文 参考訳（メタデータ） (2020-03-11T20:14:47Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳（メタデータ） (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。