論文の概要: Deep Stable neural networks: large-width asymptotics and convergence rates

• arxiv url: http://arxiv.org/abs/2108.02316v1
• Date: Mon, 2 Aug 2021 12:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-07 03:58:17.390155
• Title: Deep Stable neural networks: large-width asymptotics and convergence rates
• Title（参考訳）: 深い安定なニューラルネットワーク:大幅漸近性と収束率
• Authors: Stefano Favaro, Sandra Fortini, Stefano Peluchetti
• Abstract要約: NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。 非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 3.0108936184913295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern deep learning, there is a recent and growing literature on the interplay between large-width asymptotics for deep Gaussian neural networks (NNs), i.e. deep NNs with Gaussian-distributed weights, and classes of Gaussian stochastic processes (SPs). Such an interplay has proved to be critical in several contexts of practical interest, e.g. Bayesian inference under Gaussian SP priors, kernel regression for infinite-wide deep NNs trained via gradient descent, and information propagation within infinite-wide NNs. Motivated by empirical analysis, showing the potential of replacing Gaussian distributions with Stable distributions for the NN's weights, in this paper we investigate large-width asymptotics for (fully connected) feed-forward deep Stable NNs, i.e. deep NNs with Stable-distributed weights. First, we show that as the width goes to infinity jointly over the NN's layers, a suitable rescaled deep Stable NN converges weakly to a Stable SP whose distribution is characterized recursively through the NN's layers. Because of the non-triangular NN's structure, this is a non-standard asymptotic problem, to which we propose a novel and self-contained inductive approach, which may be of independent interest. Then, we establish sup-norm convergence rates of a deep Stable NN to a Stable SP, quantifying the critical difference between the settings of ``joint growth" and ``sequential growth" of the width over the NN's layers. Our work extends recent results on infinite-wide limits for deep Gaussian NNs to the more general deep Stable NNs, providing the first result on convergence rates for infinite-wide deep NNs.
• Abstract（参考訳）: 現代のディープラーニングでは、ディープ・ガウス・ニューラルネット(NN)のための大きな幅の漸近の相互作用に関する文献が近年増えている。 ガウス分布重みを持つディープNNとガウス確率過程(SP)のクラス。 このような相互作用は、例えば、実用的関心のあるいくつかの文脈で批判的であることが証明されている。 gaussian sp priorsに基づくベイズ推定、勾配降下によって訓練された無限大深層nnの核回帰、無限大nn内の情報伝達。 本稿では,nnの重みの安定分布にガウス分布を置き換える可能性を示す経験的解析に動機づけられ,(完全に接続された)フィードフォワード深層安定nnに対する大幅漸近性について検討する。 安定分布重みを持つ深層nn。 まず,nnの層を横切る幅が無限大になるにつれて,nnの層を通して再帰的に分布する安定なspに対して,適切な再スケールの深い安定なnnが弱く収束することを示す。 非三角形 nn の構造のため、これは非標準漸近問題であり、独立興味を持つかもしれない、新規で自己完結した帰納的アプローチを提案する。 そこで、我々は、深い安定NNの安定SPへの超ノルム収束率を確立し、NN層上の幅の「結合成長」と「連続成長」の設定の臨界差を定量化する。 我々の研究は、ディープ・ガウス NN の無限大限界に関する最近の結果をより一般的なディープ・スタブル NN に拡張し、無限大ディープ NN の収束率の最初の結果を提供する。

関連論文リスト

• Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks [55.86300309474023]
  多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。 2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
  論文  参考訳（メタデータ） (2023-05-26T12:51:38Z)
• Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions [5.2475574493706025]
  安定分布パラメータを持つディープスタブルNNの広帯域特性について検討する。 安定NNのスケーリングと,その無限に広い限界の安定性は,活性化関数の選択に依存する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-04-08T13:45:52Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Infinite-channel deep stable convolutional neural networks [2.7561479348365734]
  本稿では、ディープフィードフォワード畳み込みNNの一般的な文脈におけるA1除去の問題について考察する。 本研究では, 深層フィードフォワード畳み込みNNの無限チャネル限界が, 安定な有限次元分布をもつプロセスであることを示す。
  論文  参考訳（メタデータ） (2021-02-07T08:12:46Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
  我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。 NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
  論文  参考訳（メタデータ） (2020-03-01T04:07:30Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。