論文の概要: The edge of chaos: quantum field theory and deep neural networks
- arxiv url: http://arxiv.org/abs/2109.13247v1
- Date: Mon, 27 Sep 2021 18:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 14:52:19.459247
- Title: The edge of chaos: quantum field theory and deep neural networks
- Title（参考訳）: カオスのエッジ:量子場理論とディープニューラルネットワーク
- Authors: Kevin T. Grosvenor and Ro Jefferson
- Abstract要約: 我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。
我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。
我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explicitly construct the quantum field theory corresponding to a general
class of deep neural networks encompassing both recurrent and feedforward
architectures. We first consider the mean-field theory (MFT) obtained as the
leading saddlepoint in the action, and derive the condition for criticality via
the largest Lyapunov exponent. We then compute the loop corrections to the
correlation function in a perturbative expansion in the ratio of depth $T$ to
width $N$, and find a precise analogy with the well-studied $O(N)$ vector
model, in which the variance of the weight initializations plays the role of
the 't Hooft coupling. In particular, we compute both the $\mathcal{O}(1)$
corrections quantifying fluctuations from typicality in the ensemble of
networks, and the subleading $\mathcal{O}(T/N)$ corrections due to finite-width
effects. These provide corrections to the correlation length that controls the
depth to which information can propagate through the network, and thereby sets
the scale at which such networks are trainable by gradient descent. Our
analysis provides a first-principles approach to the rapidly emerging NN-QFT
correspondence, and opens several interesting avenues to the study of
criticality in deep neural networks.
- Abstract（参考訳）: 我々は、繰り返しおよびフィードフォワードアーキテクチャを含むディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。
まず, 平均場理論 (mft) を, 作用の主点として考慮し, 最大のリアプノフ指数による臨界条件を導出する。
次に, 深さ$t$ から幅$n$ の比における摂動拡大における相関関数に対するループ補正を計算し, 重み初期化の分散が 't hooft 結合の役割を担っているよく研究されている $o(n)$ ベクトルモデルと正確な類似性を求める。
特に、ネットワークのアンサンブルの典型性から変動を定量化する$\mathcal{O}(1)$補正と、有限幅効果による$\mathcal{O}(T/N)$補正の両方を計算する。
これらは、情報がネットワークを介して伝播できる深さを制御する相関長の補正を提供し、そのようなネットワークが勾配降下によって訓練可能なスケールを設定する。
我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
関連論文リスト
- Wide Neural Networks as Gaussian Processes: Lessons from Deep
Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。
解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。
注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文 参考訳（メタデータ） (2023-10-16T19:00:43Z) - Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。
これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。
行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
論文 参考訳（メタデータ） (2023-10-11T18:00:02Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Deep Networks and the Multiple Manifold Problem [15.144495799445824]
マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。
ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。
本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
論文 参考訳（メタデータ） (2020-08-25T19:20:00Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。
単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。
より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
論文 参考訳（メタデータ） (2020-07-02T05:07:55Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。