Fugu-MT 論文翻訳(概要): Renormalization in the neural network-quantum field theory correspondence

論文の概要: Renormalization in the neural network-quantum field theory correspondence

arxiv url: http://arxiv.org/abs/2212.11811v1
Date: Thu, 22 Dec 2022 15:41:13 GMT
ステータス: 処理完了
システム内更新日: 2022-12-23 14:17:36.045047
Title: Renormalization in the neural network-quantum field theory correspondence
Title（参考訳）: ニューラルネットワーク量子場理論対応における再正規化
Authors: Harold Erbin, Vincent Lahoche, Dine Ousmane Samary
Abstract要約: ニューラルネットワークの統計的アンサンブルは、場の量子論の観点から記述することができる。主な結果は、ニューラルネットワークの重み分布の標準偏差の変化が、ネットワーク空間における正規化フローに対応することである。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A statistical ensemble of neural networks can be described in terms of a quantum field theory (NN-QFT correspondence). The infinite-width limit is mapped to a free field theory, while finite N corrections are mapped to interactions. After reviewing the correspondence, we will describe how to implement renormalization in this context and discuss preliminary numerical results for translation-invariant kernels. A major outcome is that changing the standard deviation of the neural network weight distribution corresponds to a renormalization flow in the space of networks.
Abstract（参考訳）: ニューラルネットワークの統計的アンサンブルは、量子場理論(NN-QFT対応)によって記述することができる。無限幅の極限は自由場理論にマッピングされ、有限 N の補正は相互作用にマッピングされる。対応を見直した後、この文脈で再正規化をどのように実装するかを説明し、翻訳不変核の予備数値計算結果について考察する。主な結果は、ニューラルネットワークの重み分布の標準偏差の変化が、ネットワーク空間における正規化フローに対応することである。

関連論文リスト

Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文参考訳（メタデータ） (2023-07-07T09:49:11Z)
Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文参考訳（メタデータ） (2022-09-17T17:02:35Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Approximation bounds for norm constrained neural networks with applications to regression and GANs [9.645327615996914]
本稿では,ReLUニューラルネットワークの近似誤差の上限値と下限値について,重みの基準値で検証する。我々はこれらの近似境界を適用し、ノルム制約付きニューラルネットワークを用いて回帰の収束を分析し、GANによる分布推定を行う。
論文参考訳（メタデータ） (2022-01-24T02:19:05Z)
The edge of chaos: quantum field theory and deep neural networks [0.0]
我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
論文参考訳（メタデータ） (2021-09-27T18:00:00Z)
Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
論文参考訳（メタデータ） (2021-08-03T10:36:04Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文参考訳（メタデータ） (2020-08-19T18:00:06Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。