Fugu-MT 論文翻訳(概要): Rate of Convergence of Polynomial Networks to Gaussian Processes

論文の概要: Rate of Convergence of Polynomial Networks to Gaussian Processes

arxiv url: http://arxiv.org/abs/2111.03175v1
Date: Thu, 4 Nov 2021 21:58:21 GMT
ステータス: 処理完了
システム内更新日: 2021-11-08 15:12:56.231356
Title: Rate of Convergence of Polynomial Networks to Gaussian Processes
Title（参考訳）: 多項式ネットワークのガウス過程への収束速度
Authors: Adam Klukowski
Abstract要約: ランダムな重みを持つ一層ニューラルネットワークについて検討する。無限に活性化するネットワークの場合、2-ワッサーシュタイン計量におけるこの収束の速度は$O(n-frac12)$であり、$n$は隠れたニューロンの数である。我々は、他のアクティベーションに対する既知の収束率を、ReLUの$n$のパワーロー、erfの対数係数の逆二乗根へと改善する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We examine one-hidden-layer neural networks with random weights. It is well-known that in the limit of infinitely many neurons they simplify to Gaussian processes. For networks with a polynomial activation, we demonstrate that the rate of this convergence in 2-Wasserstein metric is $O(n^{-\frac{1}{2}})$, where $n$ is the number of hidden neurons. We suspect this rate is asymptotically sharp. We improve the known convergence rate for other activations, to power-law in $n$ for ReLU and inverse-square-root up to logarithmic factors for erf. We explore the interplay between spherical harmonics, Stein kernels and optimal transport in the non-isotropic setting.
Abstract（参考訳）: ランダムな重みを持つ一層ニューラルネットワークについて検討する。無限に多くのニューロンの限界において、それらはガウス過程に単純化されることはよく知られている。多項式活性化を持つネットワークの場合、2-ワッサーシュタイン計量におけるこの収束の速度は$O(n^{-\frac{1}{2}})$であり、$n$は隠されたニューロンの数である。この率は漸近的に鋭いと思う。他のアクティベーションの既知の収束率を、reluのn$とerfの対数係数までの逆二乗根のパワーローに改善する。非等方性設定における球面高調波、スタイン核、最適輸送の相互作用について検討する。

関連論文リスト

Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文参考訳（メタデータ） (2024-05-16T16:28:11Z)
Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。これら2つの境界は、収束率の正確な特徴づけを与える。このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
論文参考訳（メタデータ） (2023-02-20T15:33:26Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
Correlation Functions in Random Fully Connected Neural Networks at Finite Width [17.51364577113718]
この記事では、ガウスのランダムな重みとバイアスと$L$の隠蔽層を持つ完全に接続されたニューラルネットワークについて考察する。有界非線形性に対しては、ネットワーク出力とその導関数の共役相関関数に対して1/n$の急激な再帰推定を与える。いずれの場合も、深さと幅の比$L/n$は、個々のニューロンのゆらぎのスケールとニューロン間相関の大きさの両方を制御し、有効なネットワーク深さの役割を担っている。
論文参考訳（メタデータ） (2022-04-03T11:57:18Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
論文参考訳（メタデータ） (2021-06-22T21:28:00Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文参考訳（メタデータ） (2021-02-20T10:14:37Z)
Non-asymptotic approximations of neural networks by Gaussian processes [7.56714041729893]
ランダムな重みを持つ場合、ガウス過程によって広いニューラルネットワークが近似される程度を研究する。ネットワークの幅が無限大になるにつれて、その法則はガウス過程に収束する。
論文参考訳（メタデータ） (2021-02-17T10:19:26Z)
Neural Thompson Sampling [94.82847209157494]
本稿では,ニューラルトンプソンサンプリング(Neural Thompson Smpling)と呼ばれる新しいアルゴリズムを提案する。我々のアルゴリズムの中核は報酬の新たな後部分布であり、その平均はニューラルネットワーク近似器であり、その分散は対応するニューラルネットワークのニューラル・タンジェントな特徴に基づいて構築されている。
論文参考訳（メタデータ） (2020-10-02T07:44:09Z)
Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文参考訳（メタデータ） (2020-07-28T14:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。