論文の概要: Nonperturbative renormalization for the neural network-QFT
correspondence
- arxiv url: http://arxiv.org/abs/2108.01403v1
- Date: Tue, 3 Aug 2021 10:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-06 14:46:52.603646
- Title: Nonperturbative renormalization for the neural network-QFT
correspondence
- Title（参考訳）: ニューラルネットワーク-QFT対応のための非摂動的再正規化
- Authors: Harold Erbin, Vincent Lahoche and Dine Ousmane Samary
- Abstract要約: この文脈で局所性とパワーカウンティングの概念を考察する。
Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。
我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a recent work arXiv:2008.08601, Halverson, Maiti and Stoner proposed a
description of neural networks in terms of a Wilsonian effective field theory.
The infinite-width limit is mapped to a free field theory, while finite $N$
corrections are taken into account by interactions (non-Gaussian terms in the
action). In this paper, we study two related aspects of this correspondence.
First, we comment on the concepts of locality and power-counting in this
context. Indeed, these usual space-time notions may not hold for neural
networks (since inputs can be arbitrary), however, the renormalization group
provides natural notions of locality and scaling. Moreover, we comment on
several subtleties, for example, that data components may not have a
permutation symmetry: in that case, we argue that random tensor field theories
could provide a natural generalization. Second, we improve the perturbative
Wilsonian renormalization from arXiv:2008.08601 by providing an analysis in
terms of the nonperturbative renormalization group using the Wetterich-Morris
equation. An important difference with usual nonperturbative RG analysis is
that only the effective (IR) 2-point function is known, which requires setting
the problem with care. Our aim is to provide a useful formalism to investigate
neural networks behavior beyond the large-width limit (i.e.~far from Gaussian
limit) in a nonperturbative fashion. A major result of our analysis is that
changing the standard deviation of the neural network weight distribution can
be interpreted as a renormalization flow in the space of networks. We focus on
translations invariant kernels and provide preliminary numerical results.
- Abstract（参考訳）: 近年のarXiv:2008.08601で、ハルバーソン、マイティ、ストーナーはウィルソン効果場の理論の観点からニューラルネットワークの説明を提案した。
無限幅の極限は自由場の理論に写像され、有限の$N$補正は相互作用(作用における非ガウス項)によって考慮される。
本稿では,この対応の2つの関連点について検討する。
まず、この文脈における局所性とパワーカウントの概念について述べる。
実際、これらの通常の時空の概念はニューラルネットワークには当てはまらない(入力は任意である)が、再正規化群は局所性とスケーリングの自然な概念を提供する。
さらに、例えば、データ成分は置換対称性を持っていないかもしれないという微妙な点についてもコメントしている: その場合、確率テンソル場理論は自然な一般化をもたらすことができる。
第2に、ウェッテリッチ・モリス方程式を用いた非摂動再正規化群の解析を提供することにより、arxiv:2008.08601から摂動ウィルソン再正規化を改善する。
通常の非摂動的RG分析との重要な違いは、効果的な(IR)2点関数のみが知られており、注意を要することである。
我々の目的は、大きな幅制限(すなわちガウス限界から遠く離れた)を超えて、非摂動的な方法でニューラルネットワークの動作を研究するのに有用なフォーマリズムを提供することである。
解析の結果,ニューラルネットワークの重み分布の標準偏差の変化は,ネットワーク空間における再正規化流れとして解釈できることがわかった。
我々は、不変カーネルの翻訳に焦点を当て、予備的な数値結果を提供する。
関連論文リスト
- Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Renormalization in the neural network-quantum field theory
correspondence [0.0]
ニューラルネットワークの統計的アンサンブルは、場の量子論の観点から記述することができる。
主な結果は、ニューラルネットワークの重み分布の標準偏差の変化が、ネットワーク空間における正規化フローに対応することである。
論文 参考訳（メタデータ） (2022-12-22T15:41:13Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - A connection between probability, physics and neural networks [0.0]
本稿では,プライオリが物理法則に従うニューラルネットワーク構築に活用できるアプローチについて説明する。
まず、単純な単層ニューラルネットワーク(NN)から始めるが、アクティベーション関数の選択は控える。
この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。
論文 参考訳（メタデータ） (2022-09-26T14:40:09Z) - ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural
Networks via Normalization [80.90206641975375]
本稿では,正規化によるGNNの性能向上に焦点をあてる。
グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。
ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
論文 参考訳（メタデータ） (2022-06-16T13:49:09Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - A global convergence theory for deep ReLU implicit networks via
over-parameterization [26.19122384935622]
暗黙の深層学習は近年注目を集めている。
本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
論文 参考訳（メタデータ） (2021-10-11T23:22:50Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文 参考訳（メタデータ） (2020-08-19T18:00:06Z) - Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである
本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。
本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文 参考訳（メタデータ） (2020-07-10T15:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。