論文の概要: Infinitely Wide Tensor Networks as Gaussian Process
- arxiv url: http://arxiv.org/abs/2101.02333v1
- Date: Thu, 7 Jan 2021 02:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:44:08.855089
- Title: Infinitely Wide Tensor Networks as Gaussian Process
- Title（参考訳）: ガウス過程としての無限広テンソルネットワーク
- Authors: Erdong Guo and David Draper
- Abstract要約: 本稿では、無限に広いネットワークとガウス過程の等価性を示す。
我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
- 参考スコア（独自算出の注目度）: 1.7894377200944511
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian Process is a non-parametric prior which can be understood as a
distribution on the function space intuitively. It is known that by introducing
appropriate prior to the weights of the neural networks, Gaussian Process can
be obtained by taking the infinite-width limit of the Bayesian neural networks
from a Bayesian perspective. In this paper, we explore the infinitely wide
Tensor Networks and show the equivalence of the infinitely wide Tensor Networks
and the Gaussian Process. We study the pure Tensor Network and another two
extended Tensor Network structures: Neural Kernel Tensor Network and Tensor
Network hidden layer Neural Network and prove that each one will converge to
the Gaussian Process as the width of each model goes to infinity. (We note here
that Gaussian Process can also be obtained by taking the infinite limit of at
least one of the bond dimensions $\alpha_{i}$ in the product of tensor nodes,
and the proofs can be done with the same ideas in the proofs of the
infinite-width cases.) We calculate the mean function (mean vector) and the
covariance function (covariance matrix) of the finite dimensional distribution
of the induced Gaussian Process by the infinite-width tensor network with a
general set-up. We study the properties of the covariance function and derive
the approximation of the covariance function when the integral in the
expectation operator is intractable. In the numerical experiments, we implement
the Gaussian Process corresponding to the infinite limit tensor networks and
plot the sample paths of these models. We study the hyperparameters and plot
the sample path families in the induced Gaussian Process by varying the
standard deviations of the prior distributions. As expected, the parameters in
the prior distribution namely the hyper-parameters in the induced Gaussian
Process controls the characteristic lengthscales of the Gaussian Process.
- Abstract（参考訳）: ガウス過程(gaussian process)は、関数空間上の分布として直感的に理解できる非パラメトリックな前処理である。
ガウス過程は、ニューラルネットワークの重みの前に適切に導入することにより、ベイズ的ニューラルネットワークの無限幅限界をベイズ的視点から捉えることで得られることが知られている。
本稿では,無限大のテンソルネットワークを探索し,無限大のテンソルネットワークとガウス過程の同値性を示す。
我々は、純粋なテンソルネットワークと2つの拡張テンソルネットワーク構造、すなわちニューラルネットワークテンソルネットワークとテンソルネットワーク隠れ層ニューラルネットワークについて研究し、各モデルの幅が無限になるにつれて、それぞれがガウス過程に収束することを証明する。
(ここでは、ガウス過程は、テンソルノードの積における結合次元 $\alpha_{i}$ の少なくとも1つの無限極限を取ることによっても得ることができ、証明は無限幅の場合の証明において同じアイデアを用いて行うことができる)。
一般集合を持つ無限幅テンソルネットワークを用いて,誘導ガウス過程の有限次元分布の平均関数(平均ベクトル)と共分散関数(共分散行列)を計算する。
共分散関数の性質について検討し、期待演算子の積分が難解であるときに共分散関数の近似を導出する。
数値実験では、無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
本研究では,従来の分布の標準偏差を変化させることにより,誘導ガウス過程の超パラメータを解析し,サンプル経路ファミリーをプロットする。
予想通り、事前分布のパラメータ、すなわち誘導ガウス過程のハイパーパラメータはガウス過程の特徴的な長さスケールを制御する。
関連論文リスト
- Quantitative convergence of trained quantum neural networks to a Gaussian process [3.495246564946556]
生成した関数が全量子ビットにわたる単一量子ビットオブザーバブルの和の期待値である量子ニューラルネットワークについて検討する。
このような関数の確率分布は、ランダムに生成されたパラメータと訓練されたネットワークを持つ未学習ネットワークの無限幅の極限でガウス過程に収束することが証明された。
論文 参考訳（メタデータ） (2024-12-04T10:09:56Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。
副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文 参考訳（メタデータ） (2024-05-16T16:28:11Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Posterior Contraction Rates for Mat\'ern Gaussian Processes on
Riemannian Manifolds [51.68005047958965]
我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。
我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
論文 参考訳（メタデータ） (2023-09-19T20:30:58Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - On Connecting Deep Trigonometric Networks with Deep Gaussian Processes:
Covariance, Expressivity, and Neural Tangent Kernel [6.599344783327053]
重み空間ビューは以前関数空間で得られたのと同じ有効共分散関数が得られることを示す。
トリグネットワークはフレキシブルで表現力があり、重み付けや特徴層においてパラメータに対して異なる事前分布を自由に適用できる。
論文 参考訳（メタデータ） (2022-03-14T18:14:59Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。