論文の概要: Witten-type topological field theory of self-organized criticality for
stochastic neural networks
- arxiv url: http://arxiv.org/abs/2106.10851v2
- Date: Fri, 28 Jan 2022 06:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-25 23:28:25.448670
- Title: Witten-type topological field theory of self-organized criticality for
stochastic neural networks
- Title(参考訳): 確率的ニューラルネットワークの自己組織的臨界性のウィッテン型位相場理論
- Authors: Jian Zhai, Chaojun Yu, You Zhai
- Abstract要約: ニューラルネットワークに対する自己組織的臨界性のウィッテン型トポロジカル場理論について検討する。
ドリフト係数のばらつきが小さく、不安定であれば、ニューラルネットワークのモデルはBRSTである。
- 参考スコア(独自算出の注目度): 1.2891210250935146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the Witten-type topological field theory(W-TFT) of self-organized
criticality(SOC) for stochastic neural networks. The Parisi-Sourlas-Wu
quantization of general stochastic differential equations (SDEs) for neural
networks, the Becchi-Rouet-Stora-Tyutin(BRST)-symmetry of the diffusion system
and the relation between spontaneous breaking and instantons connecting steady
states of the SDEs, as well as the sufficient and necessary condition on
pseudo-supersymmetric stochastic neural networks are obtained. Suppose neuronal
avalanche is a mechanism of cortical information processing and storage
\cite{Beggs}\cite{Plenz1}\cite{Plenz2} and the model of stochastic neural
networks\cite{Dayan} is correct, as well as the SOC system can be looked upon
as a W-TFT with spontaneously broken BRST symmetry. Then we should recover the
neuronal avalanches and spontaneously broken BRST symmetry from the model of
stochastic neural networks. We find that, provided the divergence of drift
coefficients is small and non-constant, the model of stochastic neural networks
is BRST symmetric. That is, if the SOC of brain neural networks system can be
looked upon as a W-TFT with spontaneously broken BRST symmetry, then the
general model of stochastic neural networks which be extensively used in
neuroscience \cite{Dayan} is not enough to describe the SOC. On the other hand,
using the Fokker-Planck equation, we show the sufficient condition on diffusion
so that there exists a steady state probability distribution for the stochastic
neural networks. Rhythms of the firing rates of the neuronal networks arise
from the process, meanwhile some biological laws are conserved.
- Abstract(参考訳): 確率的ニューラルネットワークに対する自己組織臨界性(SOC)のウィッテン型トポロジカル場理論(W-TFT)について検討する。
ニューラルネットワークに対する一般確率微分方程式(SDE)のパリ・ソルラス・ウー量子化、拡散系のベッチ・ルーエ・ストーラ・チューティン対称性、およびSDEの定常状態を接続する自然破断とインスタントンの関係、および擬超対称性確率的ニューラルネットワークにおける十分かつ必要な条件を得る。
神経細胞の雪崩は皮質情報処理と記憶のメカニズムである cite{Beggs}\cite{Plenz1}\cite{Plenz2} を仮定し、確率的ニューラルネットワークのモデルが正しいと仮定し、SOCシステムは自発的にBRST対称性が破れたW-TFTと見なすことができる。
次に、確率的ニューラルネットワークのモデルから、神経雪崩と自発的に壊れたBRST対称性を回復する。
ドリフト係数の発散が小さく非定数であれば、確率的ニューラルネットワークのモデルはbrst対称であることが分かる。
すなわち、脳神経回路のSOCを、自発的にBRST対称性が破れたW-TFTとみなすことができれば、神経科学において広く用いられる確率的ニューラルネットワークの一般的なモデルは、SOCを記述するのに十分ではない。
一方,fokker-planck方程式を用いて拡散の十分条件を示し,確率的ニューラルネットワークの定常確率分布が存在することを示す。
神経ネットワークの発火速度のリズムはプロセスから生じるが、いくつかの生物学的法則は保存されている。
関連論文リスト
- Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Why Quantization Improves Generalization: NTK of Binary Weight Neural
Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。
本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T06:11:21Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳(メタデータ) (2022-01-14T06:42:42Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。
これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
論文 参考訳(メタデータ) (2021-08-06T12:59:12Z) - Geometry Perspective Of Estimating Learning Capability Of Neural
Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。
一般化能力とニューラルネットワークの安定性との関係についても論じている。
ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文 参考訳(メタデータ) (2020-11-03T12:03:19Z) - SPA: Stochastic Probability Adjustment for System Balance of
Unsupervised SNNs [2.729898906885749]
スパイキングニューラルネットワーク(SNN)は、低消費電力のハードウェア特性と脳に似た信号応答機構のために広く注目を集めている。
我々は,このギャップを減らすために,確率調整(Probability Adjustment, SPA)と呼ばれる情報理論に着想を得たシステムを構築した。
分類精度の改善はMNISTデータセットとEMNISTデータセットでそれぞれ1.99%と6.29%に達した。
論文 参考訳(メタデータ) (2020-10-19T17:28:38Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。