論文の概要: Neural Networks and Quantum Field Theory
- arxiv url: http://arxiv.org/abs/2008.08601v2
- Date: Mon, 15 Mar 2021 16:52:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 09:07:28.851947
- Title: Neural Networks and Quantum Field Theory
- Title(参考訳): ニューラルネットワークと量子場理論
- Authors: James Halverson, Anindita Maiti, and Keegan Stoner
- Abstract要約: 我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a theoretical understanding of neural networks in terms of
Wilsonian effective field theory. The correspondence relies on the fact that
many asymptotic neural networks are drawn from Gaussian processes, the analog
of non-interacting field theories. Moving away from the asymptotic limit yields
a non-Gaussian process and corresponds to turning on particle interactions,
allowing for the computation of correlation functions of neural network outputs
with Feynman diagrams. Minimal non-Gaussian process likelihoods are determined
by the most relevant non-Gaussian terms, according to the flow in their
coefficients induced by the Wilsonian renormalization group. This yields a
direct connection between overparameterization and simplicity of neural network
likelihoods. Whether the coefficients are constants or functions may be
understood in terms of GP limit symmetries, as expected from 't Hooft's
technical naturalness. General theoretical calculations are matched to neural
network experiments in the simplest class of models allowing the
correspondence. Our formalism is valid for any of the many architectures that
becomes a GP in an asymptotic limit, a property preserved under certain types
of training.
- Abstract(参考訳): 我々はウィルソン有効場理論の観点からニューラルネットワークの理論的理解を提案する。
この対応は、多くの漸近ニューラルネットワークが非相互作用場理論の類似であるガウス過程から引き出されるという事実に依存している。
漸近極限から離れると非ガウス過程となり、粒子相互作用の反転に対応し、フェインマン図によるニューラルネットワーク出力の相関関数の計算が可能となる。
最小の非ガウス過程確率は、ウィルソン再正規化群によって誘導される係数のフローに従って、最も関連する非ガウス項によって決定される。
これにより、オーバーパラメータ化とニューラルネットワークの可能性の単純さの直接的な接続が得られる。
係数が定数であるか関数であるかは't Hooft'の技術的自然性から予想されるように、GP極限対称性の観点から理解することができる。
一般的な理論計算は、対応を許容する最も単純なモデルのニューラルネットワーク実験と一致する。
我々の形式主義は、ある種類の訓練の下で保存される特性である漸近的極限においてGPとなる多くのアーキテクチャのいずれかに有効である。
関連論文リスト
- Neural Network Field Theories: Non-Gaussianity, Actions, and Locality [0.0]
場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。
1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
論文 参考訳(メタデータ) (2023-07-06T18:00:01Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Renormalization in the neural network-quantum field theory
correspondence [0.0]
ニューラルネットワークの統計的アンサンブルは、場の量子論の観点から記述することができる。
主な結果は、ニューラルネットワークの重み分布の標準偏差の変化が、ネットワーク空間における正規化フローに対応することである。
論文 参考訳(メタデータ) (2022-12-22T15:41:13Z) - A connection between probability, physics and neural networks [0.0]
本稿では,プライオリが物理法則に従うニューラルネットワーク構築に活用できるアプローチについて説明する。
まず、単純な単層ニューラルネットワーク(NN)から始めるが、アクティベーション関数の選択は控える。
この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。
論文 参考訳(メタデータ) (2022-09-26T14:40:09Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Neural Operator: Learning Maps Between Function Spaces [57.90284928158383]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Nonperturbative renormalization for the neural network-QFT
correspondence [0.0]
この文脈で局所性とパワーカウンティングの概念を考察する。
Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。
我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
論文 参考訳(メタデータ) (2021-08-03T10:36:04Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳(メタデータ) (2020-06-10T02:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。