論文の概要: A Neural Network Perturbation Theory Based on the Born Series
- arxiv url: http://arxiv.org/abs/2009.03192v2
- Date: Thu, 27 May 2021 08:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 02:38:57.626718
- Title: A Neural Network Perturbation Theory Based on the Born Series
- Title（参考訳）: 誕生系列に基づくニューラルネットワーク摂動理論
- Authors: Bastian Kaspschak and Ulf-G. Mei{\ss}ner
- Abstract要約: ディープニューラルネットワーク(DNN)のテイラー係数は、主に解釈可能性研究の光に現れる。
このギャップは、ニューラルネットワーク(NN)テイラー展開の一般的な定式化を動機付けている。
NNは、主に対象関数のテイラー展開の先頭順にその導関数を適応することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Learning using the eponymous deep neural networks (DNNs) has become an
attractive approach towards various data-based problems of theoretical physics
in the past decade. There has been a clear trend to deeper architectures
containing increasingly more powerful and involved layers. Contrarily, Taylor
coefficients of DNNs still appear mainly in the light of interpretability
studies, where they are computed at most to first order. However, especially in
theoretical physics numerous problems benefit from accessing higher orders, as
well. This gap motivates a general formulation of neural network (NN) Taylor
expansions. Restricting our analysis to multilayer perceptrons (MLPs) and
introducing quantities we refer to as propagators and vertices, both depending
on the MLP's weights and biases, we establish a graph-theoretical approach.
Similarly to Feynman rules in quantum field theories, we can systematically
assign diagrams containing propagators and vertices to the corresponding
partial derivative. Examining this approach for S-wave scattering lengths of
shallow potentials, we observe NNs to adapt their derivatives mainly to the
leading order of the target function's Taylor expansion. To circumvent this
problem, we propose an iterative NN perturbation theory. During each iteration
we eliminate the leading order, such that the next-to-leading order can be
faithfully learned during the subsequent iteration. After performing two
iterations, we find that the first- and second-order Born terms are correctly
adapted during the respective iterations. Finally, we combine both results to
find a proxy that acts as a machine-learned second-order Born approximation.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnns)を用いたディープラーニングは、過去10年間で理論物理学のさまざまなデータベース問題に対して魅力的なアプローチになっている。
ますます強力で関連するレイヤを含む、より深いアーキテクチャに対する明確な傾向があります。
対照的に、DNNのテイラー係数は、主に解釈可能性の研究の光に現れ、そこではそれらが最大で1次に計算される。
しかし、特に理論物理学では、高次数へのアクセスにも多くの問題がある。
このギャップは、ニューラルネットワーク(NN)テイラー展開の一般的な定式化を動機付けている。
解析を多層パーセプトロン (MLPs) に制限し, MLPの重みと偏りに依存して, プロパゲータおよび頂点と呼ぶ量を導入することにより, グラフ理論的アプローチを確立する。
量子場理論におけるファインマン則と同様に、プロパゲーターと頂点を含む図を対応する部分微分に体系的に割り当てることができる。
浅いポテンシャルのS波散乱長に対するこのアプローチを考察し、その微分を主にターゲット関数のテイラー展開の先頭順に適応させるためにNNを観察する。
この問題を回避するために,反復的NN摂動理論を提案する。
各イテレーションにおいて、次から次への順番が続くイテレーションの間に忠実に学習されるように、先頭の順序を排除します。
2回のイテレーションを行った後、各イテレーションの間に1次および2次生まれの用語が正しく適合していることがわかりました。
最後に、両方の結果を組み合わせて、マシン学習の第2次Born近似として機能するプロキシを見つけます。
関連論文リスト
- Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。
既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。
マニフォールド値スパイキングGNN(MSG)を提案する。
MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
論文 参考訳（メタデータ） (2024-10-23T15:09:02Z) - Understanding the dynamics of the frequency bias in neural networks [0.0]
近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。
2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。
実験により、同じ原理が多層NNに拡張されていることを示す。
論文 参考訳（メタデータ） (2024-05-23T18:09:16Z) - Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。
本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
論文 参考訳（メタデータ） (2024-04-04T03:20:35Z) - SEGNO: Generalizing Equivariant Graph Neural Networks with Physical
Inductive Biases [66.61789780666727]
等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。
また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。
我々のモデルは最先端のベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-25T07:15:58Z) - The Implicit Bias of Gradient Descent on Generalized Gated Linear
Networks [3.3946853660795893]
数学的に抽出可能な深部非線形ニューラルネットワーク(GLN)の無限時間学習限界を導出する。
アーキテクチャ上の制約と勾配勾配のバイアスがパフォーマンスにどのように影響するかを示す。
帰納的バイアスを明確にすることで、我々のフレームワークはより効率的で生物学的に妥当で堅牢な学習アルゴリズムの開発を知らせる。
論文 参考訳（メタデータ） (2022-02-05T22:37:39Z) - Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。
平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。
提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文 参考訳（メタデータ） (2021-12-10T15:06:11Z) - The edge of chaos: quantum field theory and deep neural networks [0.0]
我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。
我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。
我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
論文 参考訳（メタデータ） (2021-09-27T18:00:00Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。