論文の概要: Neural Networks and Quantum Field Theory

• arxiv url: http://arxiv.org/abs/2008.08601v2
• Date: Mon, 15 Mar 2021 16:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 09:07:28.851947
• Title: Neural Networks and Quantum Field Theory
• Title（参考訳）: ニューラルネットワークと量子場理論
• Authors: James Halverson, Anindita Maiti, and Keegan Stoner
• Abstract要約: 我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。 この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a theoretical understanding of neural networks in terms of Wilsonian effective field theory. The correspondence relies on the fact that many asymptotic neural networks are drawn from Gaussian processes, the analog of non-interacting field theories. Moving away from the asymptotic limit yields a non-Gaussian process and corresponds to turning on particle interactions, allowing for the computation of correlation functions of neural network outputs with Feynman diagrams. Minimal non-Gaussian process likelihoods are determined by the most relevant non-Gaussian terms, according to the flow in their coefficients induced by the Wilsonian renormalization group. This yields a direct connection between overparameterization and simplicity of neural network likelihoods. Whether the coefficients are constants or functions may be understood in terms of GP limit symmetries, as expected from 't Hooft's technical naturalness. General theoretical calculations are matched to neural network experiments in the simplest class of models allowing the correspondence. Our formalism is valid for any of the many architectures that becomes a GP in an asymptotic limit, a property preserved under certain types of training.
• Abstract（参考訳）: 我々はウィルソン有効場理論の観点からニューラルネットワークの理論的理解を提案する。 この対応は、多くの漸近ニューラルネットワークが非相互作用場理論の類似であるガウス過程から引き出されるという事実に依存している。 漸近極限から離れると非ガウス過程となり、粒子相互作用の反転に対応し、フェインマン図によるニューラルネットワーク出力の相関関数の計算が可能となる。 最小の非ガウス過程確率は、ウィルソン再正規化群によって誘導される係数のフローに従って、最も関連する非ガウス項によって決定される。 これにより、オーバーパラメータ化とニューラルネットワークの可能性の単純さの直接的な接続が得られる。 係数が定数であるか関数であるかは't Hooft'の技術的自然性から予想されるように、GP極限対称性の観点から理解することができる。 一般的な理論計算は、対応を許容する最も単純なモデルのニューラルネットワーク実験と一致する。 我々の形式主義は、ある種類の訓練の下で保存される特性である漸近的極限においてGPとなる多くのアーキテクチャのいずれかに有効である。

関連論文リスト

• A Unified Theory of Quantum Neural Network Loss Landscapes [0.0]
  量子ニューラルネットワーク(QNN)はランダムにガウス過程として振る舞うことが知られている。 QNNとその最初の2つの導関数が一般に「ウィッシュアートプロセス」と呼ばれるものを形成することを示す。 我々の統合フレームワークは、与えられたQNNモデルの「トレーニング可能性」に対して、ある種の単純な運用定義を提案する。
  論文  参考訳（メタデータ） (2024-08-21T18:00:08Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Neural Network Field Theories: Non-Gaussianity, Actions, and Locality [0.0]
  場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。 1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
  論文  参考訳（メタデータ） (2023-07-06T18:00:01Z)
• Renormalization in the neural network-quantum field theory correspondence [0.0]
  ニューラルネットワークの統計的アンサンブルは、場の量子論の観点から記述することができる。 主な結果は、ニューラルネットワークの重み分布の標準偏差の変化が、ネットワーク空間における正規化フローに対応することである。
  論文  参考訳（メタデータ） (2022-12-22T15:41:13Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
  この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。 我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
  論文  参考訳（メタデータ） (2021-08-03T10:36:04Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。