論文の概要: Gaussian random field approximation via Stein's method with applications to wide random neural networks
- arxiv url: http://arxiv.org/abs/2306.16308v2
- Date: Wed, 1 May 2024 01:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 20:40:32.062413
- Title: Gaussian random field approximation via Stein's method with applications to wide random neural networks
- Title（参考訳）: スタイン法によるガウス確率場近似と広帯域ランダムニューラルネットワークへの応用
- Authors: Krishnakumar Balasubramanian, Larry Goldstein, Nathan Ross, Adil Salim,
- Abstract要約: 我々は、よりスムーズな計量のバウンドを$W_$距離に転送できる新しいガウススムージング手法を開発した。
広帯域乱数ニューラルネットワークのガウス確率場近似の第一境界を求める。
我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
- 参考スコア（独自算出の注目度）: 20.554836643156726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive upper bounds on the Wasserstein distance ($W_1$), with respect to $\sup$-norm, between any continuous $\mathbb{R}^d$ valued random field indexed by the $n$-sphere and the Gaussian, based on Stein's method. We develop a novel Gaussian smoothing technique that allows us to transfer a bound in a smoother metric to the $W_1$ distance. The smoothing is based on covariance functions constructed using powers of Laplacian operators, designed so that the associated Gaussian process has a tractable Cameron-Martin or Reproducing Kernel Hilbert Space. This feature enables us to move beyond one dimensional interval-based index sets that were previously considered in the literature. Specializing our general result, we obtain the first bounds on the Gaussian random field approximation of wide random neural networks of any depth and Lipschitz activation functions at the random field level. Our bounds are explicitly expressed in terms of the widths of the network and moments of the random weights. We also obtain tighter bounds when the activation function has three bounded derivatives.
- Abstract（参考訳）: 我々は、任意の連続$\mathbb{R}^d$値付きランダム場の間の$\sup$-normに関するワッサーシュタイン距離(W_1$)の上界を、スタインの法則に基づいて導出する。
我々は、よりスムーズな計量のバウンドを$W_1$距離に転送できる新しいガウススムージング手法を開発した。
滑らか化はラプラシアン作用素の力を使って構成された共分散関数に基づいており、関連するガウス過程がトラクタブルなキャメロン・マーチンあるいは再生するケルネル・ヒルベルト空間を持つように設計されている。
この特徴により、文献でこれまで考慮されていた1次元の間隔ベースの指数集合を超えて移動することができる。
一般結果に特化して、任意の深さの広いランダムニューラルネットワークのガウス確率場近似とランダム場レベルでのリプシッツ活性化関数の第一境界を求める。
我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
また、活性化関数が3つの有界微分を持つとき、より厳密な境界を得る。
関連論文リスト
- Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。
副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文 参考訳（メタデータ） (2024-05-16T16:28:11Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Forward-backward Gaussian variational inference via JKO in the
Bures-Wasserstein Space [19.19325201882727]
変分推論 (VI) は、ターゲット分布の$pi$を、抽出可能な分布の族の元によって近似しようとする。
本研究では,フォワード・バック・ガウス変分推論(FB-GVI)アルゴリズムを開発し,ガウスVIを解く。
提案アルゴリズムでは,$pi$ が log-smooth かつ log-concave である場合に,最先端の収束保証が得られる。
論文 参考訳（メタデータ） (2023-04-10T19:49:50Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳（メタデータ） (2022-11-17T13:01:26Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Gaussian Processes and Statistical Decision-making in Non-Euclidean
Spaces [96.53463532832939]
我々はガウス過程の適用性を高める技術を開発した。
この観点から構築した効率的な近似を幅広く導入する。
非ユークリッド空間上のガウス過程モデルの集合を開発する。
論文 参考訳（メタデータ） (2022-02-22T01:42:57Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
本稿では、無限に広いネットワークとガウス過程の等価性を示す。
我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
論文 参考訳（メタデータ） (2021-01-07T02:29:15Z) - Nonparametric approximation of conditional expectation operators [0.3655021726150368]
最小の仮定の下で、$[Pf](x) := mathbbE[f(Y) mid X = x ]$ で定義される$L2$-operatorの近似について検討する。
我々は、再生されたカーネル空間上で作用するヒルベルト・シュミット作用素により、作用素ノルムにおいて$P$が任意に適切に近似できることを証明した。
論文 参考訳（メタデータ） (2020-12-23T19:06:12Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。