論文の概要: A theory of data variability in Neural Network Bayesian inference
- arxiv url: http://arxiv.org/abs/2307.16695v2
- Date: Thu, 9 Nov 2023 13:08:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 18:00:19.802370
- Title: A theory of data variability in Neural Network Bayesian inference
- Title（参考訳）: ニューラルネットワークベイズ推定におけるデータの変動性の理論
- Authors: Javed Lindner, David Dahmen, Michael Kr\"amer and Moritz Helias
- Abstract要約: 無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。
入力の統計的性質から一般化特性を導出する。
データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.70224924046445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian inference and kernel methods are well established in machine
learning. The neural network Gaussian process in particular provides a concept
to investigate neural networks in the limit of infinitely wide hidden layers by
using kernel and inference methods. Here we build upon this limit and provide a
field-theoretic formalism which covers the generalization properties of
infinitely wide networks. We systematically compute generalization properties
of linear, non-linear, and deep non-linear networks for kernel matrices with
heterogeneous entries. In contrast to currently employed spectral methods we
derive the generalization properties from the statistical properties of the
input, elucidating the interplay of input dimensionality, size of the training
data set, and variability of the data. We show that data variability leads to a
non-Gaussian action reminiscent of a ($\varphi^3+\varphi^4$)-theory. Using our
formalism on a synthetic task and on MNIST we obtain a homogeneous kernel
matrix approximation for the learning curve as well as corrections due to data
variability which allow the estimation of the generalization properties and
exact results for the bounds of the learning curves in the case of infinitely
many training data points.
- Abstract（参考訳）: ベイズ推論とカーネル法は機械学習においてよく確立されている。
特にニューラルネットワークのガウス過程は、カーネルと推論手法を用いて無限に広い隠れレイヤの限界内でニューラルネットワークを調べる概念を提供する。
ここでは、この極限の上に構築し、無限に広いネットワークの一般化特性をカバーする場理論形式を提供する。
不均一なエントリを持つカーネル行列に対する線形・非線形・ディープ非線形ネットワークの一般化特性を系統的に計算する。
現在採用されているスペクトル法とは対照的に、入力の統計特性から一般化特性を導出し、入力次元の相互作用、トレーニングデータセットのサイズ、データの変動性を解明する。
データ変動性は、(\varphi^3+\varphi^4$)-理論を想起させる非ガウス作用をもたらす。
合成タスクとmnistに関する形式的手法を用いて,学習曲線に対する均質なカーネル行列近似と,無限に多くのトレーニングデータ点の場合の一般化特性の推定と学習曲線の境界に対する正確な結果を可能にするデータ変動による補正を求める。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-04-30T05:31:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Deep Networks Provably Classify Data on Curves [12.309532551321334]
本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。
i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
論文 参考訳（メタデータ） (2021-07-29T20:40:04Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-05-15T14:10:35Z) - Spectral Bias and Task-Model Alignment Explain Generalization in Kernel
Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。
最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。
より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文 参考訳（メタデータ） (2020-06-23T17:53:11Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural
Networks [17.188280334580195]
トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。
我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。
我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
論文 参考訳（メタデータ） (2020-02-07T00:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。