論文の概要: Infinitely wide limits for deep Stable neural networks: sub-linear,
linear and super-linear activation functions
- arxiv url: http://arxiv.org/abs/2304.04008v1
- Date: Sat, 8 Apr 2023 13:45:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:14:34.095810
- Title: Infinitely wide limits for deep Stable neural networks: sub-linear,
linear and super-linear activation functions
- Title（参考訳）: ディープ・スタブル・ニューラルネットの無限幅制限--サブ線形、リニア、スーパー線形活性化関数
- Authors: Alberto Bordino, Stefano Favaro, Sandra Fortini
- Abstract要約: 安定分布パラメータを持つディープスタブルNNの広帯域特性について検討する。
安定NNのスケーリングと,その無限に広い限界の安定性は,活性化関数の選択に依存する可能性があることを示す。
- 参考スコア（独自算出の注目度）: 5.2475574493706025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing literature on the study of large-width properties of deep
Gaussian neural networks (NNs), i.e. deep NNs with Gaussian-distributed
parameters or weights, and Gaussian stochastic processes. Motivated by some
empirical and theoretical studies showing the potential of replacing Gaussian
distributions with Stable distributions, namely distributions with heavy tails,
in this paper we investigate large-width properties of deep Stable NNs, i.e.
deep NNs with Stable-distributed parameters. For sub-linear activation
functions, a recent work has characterized the infinitely wide limit of a
suitable rescaled deep Stable NN in terms of a Stable stochastic process, both
under the assumption of a ``joint growth" and under the assumption of a
``sequential growth" of the width over the NN's layers. Here, assuming a
``sequential growth" of the width, we extend such a characterization to a
general class of activation functions, which includes sub-linear,
asymptotically linear and super-linear functions. As a novelty with respect to
previous works, our results rely on the use of a generalized central limit
theorem for heavy tails distributions, which allows for an interesting unified
treatment of infinitely wide limits for deep Stable NNs. Our study shows that
the scaling of Stable NNs and the stability of their infinitely wide limits may
depend on the choice of the activation function, bringing out a critical
difference with respect to the Gaussian setting.
- Abstract（参考訳）: ディープ・ガウスニューラルネットワーク(英語版)(NN)、すなわち、ガウス分布パラメータまたは重みを持つディープ・NN、およびガウス確率過程の研究に関する文献が増えている。
ガウス分布を安定分布、すなわち重い尾を持つ分布に置き換える可能性を示す実験的および理論的研究により、本論文では、深い安定NN、すなわち、安定分布パラメータを持つ深部NNの大きな幅特性について検討する。
線形アクティベーション関数の場合、最近の研究は、安定な確率過程において適切な再スケールされたディープ・スタブル・NNの無限に広い限界を特徴付けており、どちらも `joint growth' の仮定と NN の層上の幅の `sequential growth" の仮定の下である。
ここで、幅の `sequential growth" を仮定すると、そのような特徴付けを、サブ線形、漸近線形、超線形関数を含む活性化関数の一般クラスに拡張する。
先行研究の新規性として,重テール分布に対する一般化された中央極限定理を用いることにより,深い安定なnnに対する無限大極限の興味深い統一的処理が可能となる。
本研究は、安定なnnのスケーリングと無限に広い限界の安定性が活性化関数の選択に依存する可能性を示し、ガウス集合に関して重要な違いをもたらすことを示した。
関連論文リスト
- Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。
出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文 参考訳（メタデータ） (2024-11-22T11:25:52Z) - Uniform Convergence of Deep Neural Networks with Lipschitz Continuous
Activation Functions and Variable Widths [3.0069322256338906]
リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。
特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。
活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
論文 参考訳（メタデータ） (2023-06-02T17:07:12Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Deep Stable neural networks: large-width asymptotics and convergence
rates [3.0108936184913295]
NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。
非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
論文 参考訳（メタデータ） (2021-08-02T12:18:00Z) - Infinite-channel deep stable convolutional neural networks [2.7561479348365734]
本稿では、ディープフィードフォワード畳み込みNNの一般的な文脈におけるA1除去の問題について考察する。
本研究では, 深層フィードフォワード畳み込みNNの無限チャネル限界が, 安定な有限次元分布をもつプロセスであることを示す。
論文 参考訳（メタデータ） (2021-02-07T08:12:46Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳（メタデータ） (2020-07-11T22:10:52Z) - Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。
NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
論文 参考訳（メタデータ） (2020-03-01T04:07:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。