論文の概要: Infinite-channel deep stable convolutional neural networks

• arxiv url: http://arxiv.org/abs/2102.03739v1
• Date: Sun, 7 Feb 2021 08:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:03:33.954408
• Title: Infinite-channel deep stable convolutional neural networks
• Title（参考訳）: 無限チャネル深層安定畳み込みニューラルネットワーク
• Authors: Daniele Bracale, Stefano Favaro, Sandra Fortini, Stefano Peluchetti
• Abstract要約: 本稿では、ディープフィードフォワード畳み込みNNの一般的な文脈におけるA1除去の問題について考察する。 本研究では, 深層フィードフォワード畳み込みNNの無限チャネル限界が, 安定な有限次元分布をもつプロセスであることを示す。
• 参考スコア（独自算出の注目度）: 2.7561479348365734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interplay between infinite-width neural networks (NNs) and classes of Gaussian processes (GPs) is well known since the seminal work of Neal (1996). While numerous theoretical refinements have been proposed in the recent years, the interplay between NNs and GPs relies on two critical distributional assumptions on the NN's parameters: A1) finite variance; A2) independent and identical distribution (iid). In this paper, we consider the problem of removing A1 in the general context of deep feed-forward convolutional NNs. In particular, we assume iid parameters distributed according to a stable distribution and we show that the infinite-channel limit of a deep feed-forward convolutional NNs, under suitable scaling, is a stochastic process with multivariate stable finite-dimensional distributions. Such a limiting distribution is then characterized through an explicit backward recursion for its parameters over the layers. Our contribution extends results of Favaro et al. (2020) to convolutional architectures, and it paves the way to expand exciting recent lines of research that rely on classes of GP limits.
• Abstract（参考訳）: 無限幅ニューラルネットワーク (NN) とガウス過程 (GP) のクラスとの相互作用は、Neal (1996) のセミナルな研究から知られている。 近年、多くの理論的改良が提案されているが、NNとGP間の相互作用は、NNのパラメータに関する2つの重要な分布仮定に依存している:A1)有限分散;A2)独立分布と同一分布(iid)。 本稿では,深層フィードフォワード畳み込みnnの一般的な文脈において,a1を除去する問題を考える。 特に,安定分布に従って分布するiidパラメータを仮定し,適切なスケーリング下での深いフィードフォワード畳み込みnnの無限チャネル極限は,多変量安定な有限次元分布を持つ確率過程であることを示す。 このような制限分布は、層上のパラメータの明示的な後方再帰によって特徴づけられる。 私たちの貢献はFavaro et alの結果を拡張します。 2020年)は畳み込みアーキテクチャに転換し、GPの限界のクラスに依存するエキサイティングな最近の研究ラインを拡大する方法を切り拓きます。

関連論文リスト

• Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions [5.2475574493706025]
  安定分布パラメータを持つディープスタブルNNの広帯域特性について検討する。 安定NNのスケーリングと,その無限に広い限界の安定性は,活性化関数の選択に依存する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-04-08T13:45:52Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Deep Stable neural networks: large-width asymptotics and convergence rates [3.0108936184913295]
  NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。 非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-02T12:18:00Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
  我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。 NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
  論文  参考訳（メタデータ） (2020-03-01T04:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。