論文の概要: Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection
- arxiv url: http://arxiv.org/abs/2407.18707v1
- Date: Fri, 26 Jul 2024 12:45:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:30:50.921705
- Title: Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection
- Title（参考訳）: ガウス過程の混合体としての有限ニューラルネットワーク:確率的誤差境界から優先選択へ
- Authors: Steven Adams, Patanè, Morteza Lahijanian, Luca Laurenti,
- Abstract要約: 有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。
ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。
我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
- 参考スコア（独自算出の注目度）: 11.729744197698718
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Infinitely wide or deep neural networks (NNs) with independent and identically distributed (i.i.d.) parameters have been shown to be equivalent to Gaussian processes. Because of the favorable properties of Gaussian processes, this equivalence is commonly employed to analyze neural networks and has led to various breakthroughs over the years. However, neural networks and Gaussian processes are equivalent only in the limit; in the finite case there are currently no methods available to approximate a trained neural network with a Gaussian model with bounds on the approximation error. In this work, we present an algorithmic framework to approximate a neural network of finite width and depth, and with not necessarily i.i.d. parameters, with a mixture of Gaussian processes with error bounds on the approximation error. In particular, we consider the Wasserstein distance to quantify the closeness between probabilistic models and, by relying on tools from optimal transport and Gaussian processes, we iteratively approximate the output distribution of each layer of the neural network as a mixture of Gaussian processes. Crucially, for any NN and $\epsilon >0$ our approach is able to return a mixture of Gaussian processes that is $\epsilon$-close to the NN at a finite set of input points. Furthermore, we rely on the differentiability of the resulting error bound to show how our approach can be employed to tune the parameters of a NN to mimic the functional behavior of a given Gaussian process, e.g., for prior selection in the context of Bayesian inference. We empirically investigate the effectiveness of our results on both regression and classification problems with various neural network architectures. Our experiments highlight how our results can represent an important step towards understanding neural network predictions and formally quantifying their uncertainty.
- Abstract（参考訳）: 独立かつ同一に分散されたパラメータを持つ無限広または深層ニューラルネットワーク(NN)は、ガウス過程と等価であることが示されている。
ガウス過程の好ましい性質のため、この同値性はニューラルネットワークの分析に一般的に用いられ、長年にわたって様々なブレークスルーをもたらしてきた。
しかし、ニューラルネットワークとガウス過程は極限でのみ等価であり、有限の場合、近似誤差に有界なガウスモデルで訓練されたニューラルネットワークを近似する方法は今のところ存在しない。
本研究では,有限幅と深さのニューラルネットワークを近似するアルゴリズムフレームワークを提案する。
特に、確率的モデル間の近接性を定量化するために、ワッサーシュタイン距離を考慮し、最適輸送とガウス過程からのツールに頼ることにより、ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。
重要なことに、NN と $\epsilon > 0$ の場合、我々のアプローチはガウス過程の混合を、有限の入力点の集合で NN に返すことができる。
さらに、ベイズ推論の文脈における事前選択に対して、与えられたガウス過程の関数的振る舞いを模倣するために、NNのパラメータをチューニングするために我々のアプローチをどのように使うかを示すために、結果の誤差境界の微分可能性に依存する。
ニューラルネットワークアーキテクチャにおける回帰と分類の両問題に対する結果の有効性を実証的に検討する。
私たちの実験では、ニューラルネットワークの予測を理解し、その不確実性を正式に定量化するための重要なステップとして、私たちの結果がどのように表現できるかを強調しています。
関連論文リスト
- Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。
副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文 参考訳（メタデータ） (2024-05-16T16:28:11Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - An Overview of Uncertainty Quantification Methods for Infinite Neural
Networks [0.0]
無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。
我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
論文 参考訳（メタデータ） (2022-01-13T00:03:22Z) - Scale Mixtures of Neural Network Gaussian Processes [22.07524388784668]
我々は、末層パラメータのスケールに先行する$mathrmNNGP$のスケール混合を導入する。
ある種のスケールの先行で重み付きプロセスが得られ、逆ガンマ分布の場合、学生の$t$プロセスが復元されることを示す。
さらに、ニューラルネットワークを事前設定で分析し、勾配降下を訓練し、$mathrmNNGP$と同じような結果を得る。
論文 参考訳（メタデータ） (2021-07-03T11:02:18Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳（メタデータ） (2020-07-21T17:42:58Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。