論文の概要: Infinite-channel deep stable convolutional neural networks

• arxiv url: http://arxiv.org/abs/2102.03739v1
• Date: Sun, 7 Feb 2021 08:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:03:33.954408
• Title: Infinite-channel deep stable convolutional neural networks
• Title（参考訳）: 無限チャネル深層安定畳み込みニューラルネットワーク
• Authors: Daniele Bracale, Stefano Favaro, Sandra Fortini, Stefano Peluchetti
• Abstract要約: 本稿では、ディープフィードフォワード畳み込みNNの一般的な文脈におけるA1除去の問題について考察する。 本研究では, 深層フィードフォワード畳み込みNNの無限チャネル限界が, 安定な有限次元分布をもつプロセスであることを示す。
• 参考スコア（独自算出の注目度）: 2.7561479348365734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interplay between infinite-width neural networks (NNs) and classes of Gaussian processes (GPs) is well known since the seminal work of Neal (1996). While numerous theoretical refinements have been proposed in the recent years, the interplay between NNs and GPs relies on two critical distributional assumptions on the NN's parameters: A1) finite variance; A2) independent and identical distribution (iid). In this paper, we consider the problem of removing A1 in the general context of deep feed-forward convolutional NNs. In particular, we assume iid parameters distributed according to a stable distribution and we show that the infinite-channel limit of a deep feed-forward convolutional NNs, under suitable scaling, is a stochastic process with multivariate stable finite-dimensional distributions. Such a limiting distribution is then characterized through an explicit backward recursion for its parameters over the layers. Our contribution extends results of Favaro et al. (2020) to convolutional architectures, and it paves the way to expand exciting recent lines of research that rely on classes of GP limits.
• Abstract（参考訳）: 無限幅ニューラルネットワーク (NN) とガウス過程 (GP) のクラスとの相互作用は、Neal (1996) のセミナルな研究から知られている。 近年、多くの理論的改良が提案されているが、NNとGP間の相互作用は、NNのパラメータに関する2つの重要な分布仮定に依存している:A1)有限分散;A2)独立分布と同一分布(iid)。 本稿では,深層フィードフォワード畳み込みnnの一般的な文脈において,a1を除去する問題を考える。 特に,安定分布に従って分布するiidパラメータを仮定し,適切なスケーリング下での深いフィードフォワード畳み込みnnの無限チャネル極限は,多変量安定な有限次元分布を持つ確率過程であることを示す。 このような制限分布は、層上のパラメータの明示的な後方再帰によって特徴づけられる。 私たちの貢献はFavaro et alの結果を拡張します。 2020年)は畳み込みアーキテクチャに転換し、GPの限界のクラスに依存するエキサイティングな最近の研究ラインを拡大する方法を切り拓きます。

関連論文リスト

• Deep Kernel Posterior Learning under Infinite Variance Prior Weights [1.5960546024967326]
  ベイジアンディープニューラルネットワークは、条件付きガウス表現を持つ各層に$alpha$stableのマージンを持つプロセスに収束することを示す。 また,浅い多層ネットワーク上の浅層ネットワーク上でのLor'ia & Bhadra (2024)の結果の有用な一般化も提供する。 競合するアプローチに対する計算的および統計的利点は、シミュレーションやベンチマークデータセットでの実証において際立っている。
  論文  参考訳（メタデータ） (2024-10-02T07:13:17Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Generalization Guarantees of Gradient Descent for Multi-Layer Neural Networks [55.86300309474023]
  多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。 2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
  論文  参考訳（メタデータ） (2023-05-26T12:51:38Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Deep Stable neural networks: large-width asymptotics and convergence rates [3.0108936184913295]
  NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。 非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-02T12:18:00Z)
• Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
  ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。 本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
  論文  参考訳（メタデータ） (2021-02-14T20:31:49Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
  我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。 NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
  論文  参考訳（メタデータ） (2020-03-01T04:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。