論文の概要: Input correlations impede suppression of chaos and learning in balanced
rate networks
- arxiv url: http://arxiv.org/abs/2201.09916v1
- Date: Mon, 24 Jan 2022 19:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 16:55:00.574540
- Title: Input correlations impede suppression of chaos and learning in balanced
rate networks
- Title(参考訳): バランスレートネットワークにおける入力相関がカオスと学習の抑制を阻害する
- Authors: Rainer Engelken, Alessandro Ingrosso, Ramin Khajeh, Sven Goedeke, L.
F. Abbott
- Abstract要約: ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。
平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
- 参考スコア(独自算出の注目度): 58.720142291102135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural circuits exhibit complex activity patterns, both spontaneously and
evoked by external stimuli. Information encoding and learning in neural
circuits depend on how well time-varying stimuli can control spontaneous
network activity. We show that in firing-rate networks in the balanced state,
external control of recurrent dynamics, i.e., the suppression of
internally-generated chaotic variability, strongly depends on correlations in
the input. A unique feature of balanced networks is that, because common
external input is dynamically canceled by recurrent feedback, it is far easier
to suppress chaos with independent inputs into each neuron than through common
input. To study this phenomenon we develop a non-stationary dynamic mean-field
theory that determines how the activity statistics and largest Lyapunov
exponent depend on frequency and amplitude of the input, recurrent coupling
strength, and network size, for both common and independent input. We also show
that uncorrelated inputs facilitate learning in balanced networks.
- Abstract(参考訳): 神経回路は外部刺激によって自発的に誘発される複雑な活動パターンを示す。
神経回路における情報符号化と学習は、時間的刺激が自発的ネットワーク活動をどのように制御できるかに依存する。
本研究では, 平衡状態における発火速度ネットワークにおいて, リカレントダイナミクスの外部制御, すなわち内部生成カオス変動の抑制は, 入力の相関に大きく依存することを示す。
バランスドネットワークのユニークな特徴は、リカレントフィードバックによって外部入力が動的にキャンセルされるので、各ニューロンへの独立入力によるカオスを抑制するのが、一般的な入力よりもはるかに容易である。
この現象を研究するために, 非定常動的平均場理論を開発し, 活動統計値と最大リアプノフ指数が, 入力の周波数と振幅, 繰り返し結合強度, ネットワークサイズにどのように依存するかを検討した。
また,非相関入力がバランスのとれたネットワーク上での学習を促進することを示す。
関連論文リスト
- Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳(メタデータ) (2024-02-16T02:11:27Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳(メタデータ) (2023-10-05T21:44:18Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Uncovering the Origins of Instability in Dynamical Systems: How
Attention Mechanism Can Help? [0.0]
ネットワーク内の不均衡構造と極性駆動構造不安定性の集合的挙動に注意を向けるべきである。
本研究は,ネットワークのノードの摂動がネットワーク力学に劇的な変化をもたらす理由を理解するための概念実証である。
論文 参考訳(メタデータ) (2022-12-19T17:16:41Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - Latent Equilibrium: A unified learning theory for arbitrarily fast
computation with arbitrarily slow neurons [0.7340017786387767]
遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。
我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。
本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
論文 参考訳(メタデータ) (2021-10-27T16:15:55Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z) - Residual networks classify inputs based on their neural transient
dynamics [0.0]
我々は各入力次元に対応する残差間の協調と競合のダイナミクスがあることを解析的に示す。
残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。
論文 参考訳(メタデータ) (2021-01-08T13:54:37Z) - Stability of Internal States in Recurrent Neural Networks Trained on
Regular Languages [0.0]
正規言語認識のためのニューラルネットワークの安定性について検討する。
この飽和状態において、ネットワークアクティベーションの分析は、有限状態機械における離散状態に似た一連のクラスターを示す。
入力シンボルに対応する状態間の遷移は決定論的かつ安定であることを示す。
論文 参考訳(メタデータ) (2020-06-18T19:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。