Fugu-MT 論文翻訳(概要): Self-organized criticality in neural networks

論文の概要: Self-organized criticality in neural networks

arxiv url: http://arxiv.org/abs/2107.03402v1
Date: Wed, 7 Jul 2021 18:00:03 GMT
ステータス: 処理完了
システム内更新日: 2021-07-09 13:22:04.329613
Title: Self-organized criticality in neural networks
Title（参考訳）: ニューラルネットワークにおける自己組織化臨界
Authors: Mikhail I. Katsnelson, Vitaly Vanchurin, Tom Westerhout
Abstract要約: 本稿では,ニューラルネットワークの学習ダイナミクスが,自己組織的臨界状態に対して汎用的に惹きつけられていることを示す。私たちの結果は、宇宙はニューラルネットワークかもしれないという主張を支持します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We demonstrate, both analytically and numerically, that learning dynamics of neural networks is generically attracted towards a self-organized critical state. The effect can be modeled with quartic interactions between non-trainable variables (e.g. states of neurons) and trainable variables (e.g. weight matrix). Non-trainable variables are rapidly driven towards stochastic equilibrium and trainable variables are slowly driven towards learning equilibrium described by a scale-invariant distribution on a wide range of scales. Our results suggest that the scale invariance observed in many physical and biological systems might be due to some kind of learning dynamics and support the claim that the universe might be a neural network.
Abstract（参考訳）: ニューラルネットワークの学習力学は、解析的にも数値的にも、自己組織的臨界状態に一般的に惹きつけられていることを実証する。この効果は、非訓練変数間のクォート相互作用(例)でモデル化することができる。ニューロンの状態)と訓練可能な変数(例) 重量行列)。非訓練変数は確率平衡に向かって急速に駆動され、訓練変数は幅広いスケールでスケール不変分布によって記述される学習平衡に向かってゆっくりと駆動される。この結果は、多くの物理・生物学的システムで観測されるスケールの不変性は、ある種の学習力学によるもので、宇宙がニューラルネットワークであるという主張を支持することを示唆している。

関連論文リスト

Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文参考訳（メタデータ） (2024-07-01T04:25:49Z)
Dataset-learning duality and emergent criticality [0.0]
訓練不能変数の部分空間と訓練可能変数の部分空間との間の双対写像を示す。双対性を用いて臨界性の出現、あるいはトレーニング可能な変数のゆらぎのパワー-法則分布を研究する。
論文参考訳（メタデータ） (2024-05-27T17:44:33Z)
Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文参考訳（メタデータ） (2023-11-06T20:31:01Z)
Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文参考訳（メタデータ） (2023-07-24T17:03:28Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Equivalence of Additive and Multiplicative Coupling in Spiking Neural Networks [0.0]
スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
論文参考訳（メタデータ） (2023-03-31T20:19:11Z)
Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文参考訳（メタデータ） (2022-10-13T10:00:30Z)
Towards a theory of quantum gravity from neural networks [0.0]
トレーニング可能な変数の非平衡力学はマドルング方程式によって記述できることを示す。ローレンツ対称性と湾曲時空は、学習によるエントロピー生成とエントロピー破壊の間の相互作用から生じる可能性があると論じる。
論文参考訳（メタデータ） (2021-10-28T12:39:01Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD [105.99301967452334]
SMD (Spherical Motion Dynamics) と名付けられた, 正規化, 重崩壊 (WD) , SGD (運動量) を伴うニューラルネットワークの学習力学について述べる。我々は,ImageNet や MSCOCO など様々なコンピュータビジョンタスクにおける仮定と理論的結果を標準設定で検証する。
論文参考訳（メタデータ） (2020-06-15T14:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。