論文の概要: Self-organized criticality in neural networks
- arxiv url: http://arxiv.org/abs/2107.03402v1
- Date: Wed, 7 Jul 2021 18:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-09 13:22:04.329613
- Title: Self-organized criticality in neural networks
- Title(参考訳): ニューラルネットワークにおける自己組織化臨界
- Authors: Mikhail I. Katsnelson, Vitaly Vanchurin, Tom Westerhout
- Abstract要約: 本稿では,ニューラルネットワークの学習ダイナミクスが,自己組織的臨界状態に対して汎用的に惹きつけられていることを示す。
私たちの結果は、宇宙はニューラルネットワークかもしれないという主張を支持します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate, both analytically and numerically, that learning dynamics of
neural networks is generically attracted towards a self-organized critical
state. The effect can be modeled with quartic interactions between
non-trainable variables (e.g. states of neurons) and trainable variables (e.g.
weight matrix). Non-trainable variables are rapidly driven towards stochastic
equilibrium and trainable variables are slowly driven towards learning
equilibrium described by a scale-invariant distribution on a wide range of
scales. Our results suggest that the scale invariance observed in many physical
and biological systems might be due to some kind of learning dynamics and
support the claim that the universe might be a neural network.
- Abstract(参考訳): ニューラルネットワークの学習力学は、解析的にも数値的にも、自己組織的臨界状態に一般的に惹きつけられていることを実証する。
この効果は、非訓練変数間のクォート相互作用(例)でモデル化することができる。
ニューロンの状態)と訓練可能な変数(例)
重量行列)。
非訓練変数は確率平衡に向かって急速に駆動され、訓練変数は幅広いスケールでスケール不変分布によって記述される学習平衡に向かってゆっくりと駆動される。
この結果は、多くの物理・生物学的システムで観測されるスケールの不変性は、ある種の学習力学によるもので、宇宙がニューラルネットワークであるという主張を支持することを示唆している。
関連論文リスト
- Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳(メタデータ) (2023-11-06T20:31:01Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Equivalence of Additive and Multiplicative Coupling in Spiking Neural
Networks [0.0]
スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。
加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
論文 参考訳(メタデータ) (2023-03-31T20:19:11Z) - Statistical mechanics of continual learning: variational principle and
mean-field potential [1.559929646151698]
重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。
ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。
重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。
提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
論文 参考訳(メタデータ) (2022-12-06T09:32:45Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳(メタデータ) (2022-10-13T10:00:30Z) - Towards a theory of quantum gravity from neural networks [0.0]
トレーニング可能な変数の非平衡力学はマドルング方程式によって記述できることを示す。
ローレンツ対称性と湾曲時空は、学習によるエントロピー生成とエントロピー破壊の間の相互作用から生じる可能性があると論じる。
論文 参考訳(メタデータ) (2021-10-28T12:39:01Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Emergent Quantumness in Neural Networks [0.0]
隠れ変数の化学ポテンシャルによって決定される「プランク定数」でSchr"odinger方程式を導出する。
また,機械学習や基礎物理学,進化生物学における研究結果の意義についても考察した。
論文 参考訳(メタデータ) (2020-12-09T14:32:33Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Spherical Motion Dynamics: Learning Dynamics of Neural Network with
Normalization, Weight Decay, and SGD [105.99301967452334]
SMD (Spherical Motion Dynamics) と名付けられた, 正規化, 重崩壊 (WD) , SGD (運動量) を伴うニューラルネットワークの学習力学について述べる。
我々は,ImageNet や MSCOCO など様々なコンピュータビジョンタスクにおける仮定と理論的結果を標準設定で検証する。
論文 参考訳(メタデータ) (2020-06-15T14:16:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。