論文の概要: A duality connecting neural network and cosmological dynamics
- arxiv url: http://arxiv.org/abs/2202.11104v1
- Date: Tue, 22 Feb 2022 19:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 16:38:52.161202
- Title: A duality connecting neural network and cosmological dynamics
- Title(参考訳): ニューラルネットワークと宇宙力学を結合する双対性
- Authors: Sven Krippendorf, Michael Spannowsky
- Abstract要約: 本研究では、勾配降下によるニューラルネットワークの力学と、平らで真空エネルギーが支配する宇宙におけるスカラー場の力学が構造的に関連していることを示す。
この双対性は、ニューラルネットワークのダイナミクスを理解し説明するための、これらのシステム間のシナジーのためのフレームワークを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate that the dynamics of neural networks trained with gradient
descent and the dynamics of scalar fields in a flat, vacuum energy dominated
Universe are structurally profoundly related. This duality provides the
framework for synergies between these systems, to understand and explain neural
network dynamics and new ways of simulating and describing early Universe
models. Working in the continuous-time limit of neural networks, we
analytically match the dynamics of the mean background and the dynamics of
small perturbations around the mean field, highlighting potential differences
in separate limits. We perform empirical tests of this analytic description and
quantitatively show the dependence of the effective field theory parameters on
hyperparameters of the neural network. As a result of this duality, the
cosmological constant is matched inversely to the learning rate in the gradient
descent update.
- Abstract(参考訳): 勾配降下を訓練したニューラルネットワークのダイナミクスと、平坦で真空エネルギーが支配する宇宙におけるスカラー場のダイナミクスが、構造的に深く関連していることを示す。
この双対性は、ニューラルネットワークのダイナミクスと初期の宇宙モデルをシミュレートし記述する新しい方法を理解し説明するために、これらのシステム間のシナジーの枠組みを提供する。
ニューラルネットワークの連続時間限界で働くことで、平均背景のダイナミクスと平均場周辺の小さな摂動のダイナミクスを解析的に一致させ、異なる限界における潜在的な差を強調する。
この解析的記述の実証実験を行い,ニューラルネットワークのハイパーパラメータに対する有効場理論パラメータの依存性を定量的に示す。
この双対性の結果、宇宙定数は勾配降下更新の学習率に逆向きに一致する。
関連論文リスト
- Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳(メタデータ) (2023-12-21T20:40:51Z) - Attention for Causal Relationship Discovery from Biological Neural
Dynamics [9.097847269529202]
本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。
クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
論文 参考訳(メタデータ) (2023-11-12T18:59:42Z) - SEGNO: Generalizing Equivariant Graph Neural Networks with Physical
Inductive Biases [66.61789780666727]
等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。
また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。
我々のモデルは最先端のベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-08-25T07:15:58Z) - The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文 参考訳(メタデータ) (2023-07-18T18:48:54Z) - Introduction to dynamical mean-field theory of generic random neural
networks [2.0711789781518752]
初心者がこのツールの本質や基礎となる物理学にアクセスするのは容易ではない。
本稿では,この手法を汎用的ランダムニューラルネットワークの具体例に紹介する。
積分微分平均場方程式を解く数値的実装についても詳述する。
論文 参考訳(メタデータ) (2023-05-15T09:01:40Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Complexity for deep neural networks and other characteristics of deep
feature representations [0.0]
ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。
トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
論文 参考訳(メタデータ) (2020-06-08T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。