論文の概要: Neural Network Field Theories: Non-Gaussianity, Actions, and Locality

• arxiv url: http://arxiv.org/abs/2307.03223v2
• Date: Wed, 13 Dec 2023 22:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 04:43:27.821721
• Title: Neural Network Field Theories: Non-Gaussianity, Actions, and Locality
• Title（参考訳）: ニューラルネットワーク場の理論:非ガウス性、行動、局所性
• Authors: Mehmet Demirtas, James Halverson, Anindita Maiti, Matthew D. Schwartz, Keegan Stoner
• Abstract要約: 場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。 1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both the path integral measure in field theory and ensembles of neural networks describe distributions over functions. When the central limit theorem can be applied in the infinite-width (infinite-$N$) limit, the ensemble of networks corresponds to a free field theory. Although an expansion in $1/N$ corresponds to interactions in the field theory, others, such as in a small breaking of the statistical independence of network parameters, can also lead to interacting theories. These other expansions can be advantageous over the $1/N$-expansion, for example by improved behavior with respect to the universal approximation theorem. Given the connected correlators of a field theory, one can systematically reconstruct the action order-by-order in the expansion parameter, using a new Feynman diagram prescription whose vertices are the connected correlators. This method is motivated by the Edgeworth expansion and allows one to derive actions for neural network field theories. Conversely, the correspondence allows one to engineer architectures realizing a given field theory by representing action deformations as deformations of neural network parameter densities. As an example, $\phi^4$ theory is realized as an infinite-$N$ neural network field theory.
• Abstract（参考訳）: 場理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。 中心極限定理が無限幅(無限$N$)極限に適用できるとき、ネットワークのアンサンブルは自由場理論に対応する。 1/N$の展開は場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論につながることもある。 これらの他の拡張は、例えば普遍近似定理に対する振る舞いの改善によって、1/N$-展開よりも有利である。 場の理論の連結コレレータが与えられた場合、頂点が連結コレレータである新しいファインマン図式処方を用いて、拡張パラメータのアクション順序を体系的に再構成することができる。 この方法はエッジワース展開に動機付けられ、ニューラルネットワークの場の理論に対する作用を導出することができる。 逆に、この対応により、ニューラルネットワークパラメータ密度の変形として作用変形を表現することにより、与えられた場理論を実現するアーキテクチャを設計できる。 例えば、$\phi^4$理論は無限の$N$ニューラルネットワーク場理論として実現される。

関連論文リスト

• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Building Quantum Field Theories Out of Neurons [0.0]
  フィールド理論へのアプローチとして、フィールドは$N$構成ランダムニューロンから構成される。 ガウスニティは、自然界における場の理論の特徴を説明する大きな$N$で展示されている。
  論文  参考訳（メタデータ） (2021-12-08T19:05:36Z)
• Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
  この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。 我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
  論文  参考訳（メタデータ） (2021-08-03T10:36:04Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Quantum field-theoretic machine learning [0.0]
  我々は、$phi4$スカラー場理論をマルコフ確率場の数学的に厳密な枠組み内の機械学習アルゴリズムとして再考する。 ニューラルネットワークはまた、従来のニューラルネットワークの一般化と見なせる$phi4$理論から派生している。
  論文  参考訳（メタデータ） (2021-02-18T16:12:51Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Topological Quantum Gravity of the Ricci Flow [62.997667081978825]
  我々は、リッチフローの幾何学理論に関連する位相量子重力理論の族を示す。 まず、BRST量子化を用いて空間計量のみに対する「原始的」トポロジカルリーフシッツ型理論を構築する。 葉保存時空対称性をゲージすることで原始理論を拡張する。
  論文  参考訳（メタデータ） (2020-10-29T06:15:30Z)
• Neural Networks and Quantum Field Theory [0.0]
  我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。 この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
  論文  参考訳（メタデータ） (2020-08-19T18:00:06Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。