論文の概要: A duality connecting neural network and cosmological dynamics

• arxiv url: http://arxiv.org/abs/2202.11104v1
• Date: Tue, 22 Feb 2022 19:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 16:38:52.161202
• Title: A duality connecting neural network and cosmological dynamics
• Title（参考訳）: ニューラルネットワークと宇宙力学を結合する双対性
• Authors: Sven Krippendorf, Michael Spannowsky
• Abstract要約: 本研究では、勾配降下によるニューラルネットワークの力学と、平らで真空エネルギーが支配する宇宙におけるスカラー場の力学が構造的に関連していることを示す。 この双対性は、ニューラルネットワークのダイナミクスを理解し説明するための、これらのシステム間のシナジーのためのフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate that the dynamics of neural networks trained with gradient descent and the dynamics of scalar fields in a flat, vacuum energy dominated Universe are structurally profoundly related. This duality provides the framework for synergies between these systems, to understand and explain neural network dynamics and new ways of simulating and describing early Universe models. Working in the continuous-time limit of neural networks, we analytically match the dynamics of the mean background and the dynamics of small perturbations around the mean field, highlighting potential differences in separate limits. We perform empirical tests of this analytic description and quantitatively show the dependence of the effective field theory parameters on hyperparameters of the neural network. As a result of this duality, the cosmological constant is matched inversely to the learning rate in the gradient descent update.
• Abstract（参考訳）: 勾配降下を訓練したニューラルネットワークのダイナミクスと、平坦で真空エネルギーが支配する宇宙におけるスカラー場のダイナミクスが、構造的に深く関連していることを示す。 この双対性は、ニューラルネットワークのダイナミクスと初期の宇宙モデルをシミュレートし記述する新しい方法を理解し説明するために、これらのシステム間のシナジーの枠組みを提供する。 ニューラルネットワークの連続時間限界で働くことで、平均背景のダイナミクスと平均場周辺の小さな摂動のダイナミクスを解析的に一致させ、異なる限界における潜在的な差を強調する。 この解析的記述の実証実験を行い,ニューラルネットワークのハイパーパラメータに対する有効場理論パラメータの依存性を定量的に示す。 この双対性の結果、宇宙定数は勾配降下更新の学習率に逆向きに一致する。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Synergistic pathways of modulation enable robust task packing within neural dynamics [0.0]
  ニューラルダイナミクスの文脈変調の2つの形態の区別を探索するために、リカレント・ネットワーク・モデルを用いる。 我々はこれらのメカニズムの区別を、それらが引き起こす神経力学のレベルで示す。 これらの特徴は、これらのメカニズムがどのように振る舞うかの相補性と相乗性を示している。
  論文  参考訳（メタデータ） (2024-08-02T15:12:01Z)
• Exploiting Chaotic Dynamics as Deep Neural Networks [1.9282110216621833]
  カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。 本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。 この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
  論文  参考訳（メタデータ） (2024-05-29T22:03:23Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds [12.037840490243603]
  本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。 学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。 これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
  論文  参考訳（メタデータ） (2023-12-21T20:40:51Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Complexity for deep neural networks and other characteristics of deep feature representations [0.0]
  ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。 トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
  論文  参考訳（メタデータ） (2020-06-08T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。