論文の概要: Dynamical stability for dense patterns in discrete attractor neural networks
- arxiv url: http://arxiv.org/abs/2507.10383v1
- Date: Mon, 14 Jul 2025 15:23:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:25.266819
- Title: Dynamical stability for dense patterns in discrete attractor neural networks
- Title(参考訳): 離散誘引型ニューラルネットワークにおける高密度パターンの動的安定性
- Authors: Uri Cohen, Máté Lengyel,
- Abstract要約: 次級ニューラルネットワークと雑音の存在下での離散的固定点の局所安定性の理論を導出する。
本分析では,閾値線形アクティベーションとスパース様パターンの計算的利点を強調した。
- 参考スコア(独自算出の注目度): 4.450536872346658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks storing multiple discrete attractors are canonical models of biological memory. Previously, the dynamical stability of such networks could only be guaranteed under highly restrictive conditions. Here, we derive a theory of the local stability of discrete fixed points in a broad class of networks with graded neural activities and in the presence of noise. By directly analyzing the bulk and outliers of the Jacobian spectrum, we show that all fixed points are stable below a critical load that is distinct from the classical \textit{critical capacity} and depends on the statistics of neural activities in the fixed points as well as the single-neuron activation function. Our analysis highlights the computational benefits of threshold-linear activation and sparse-like patterns.
- Abstract(参考訳): 複数の離散アトラクタを格納するニューラルネットワークは、生物学的記憶の標準モデルである。
これまで、そのようなネットワークの動的安定性は、高度に制限された条件下でのみ保証することができた。
ここでは, 離散的固定点の局所的安定性の理論を, 次級神経活動と雑音の存在下での広範に導いた。
ジャコビアンスペクトルのバルクおよびアウトレーヤを直接解析することにより、すべての固定点が古典的 \textit{ critical capacity} とは異なる臨界荷重以下で安定であることを示し、固定点における神経活動の統計と単一ニューロン活性化関数に依存する。
本分析では,閾値線形アクティベーションとスパース様パターンの計算的利点を強調した。
関連論文リスト
- Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - On the Stability of the Jacobian Matrix in Deep Neural Networks [9.617753464544606]
我々は、疎度と弱相関重みに対応するディープニューラルネットワークの一般的な安定性定理を確立する。
この結果は、確率行列理論の最近の進歩に依拠し、より広範なネットワークモデルにおけるスペクトル安定性の厳密な保証を提供する。
論文 参考訳(メタデータ) (2025-06-10T13:04:42Z) - Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。
線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。
数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
論文 参考訳(メタデータ) (2025-04-16T10:39:43Z) - Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。
本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
論文 参考訳(メタデータ) (2025-03-20T12:28:08Z) - Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
論文 参考訳(メタデータ) (2024-09-27T17:46:05Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳(メタデータ) (2021-10-10T04:37:19Z) - Linear systems with neural network nonlinearities: Improved stability
analysis via acausal Zames-Falb multipliers [0.0]
ニューラルネットワークの非線形性を考慮した線形時間不変系のフィードバック相互干渉の安定性を離散時間で解析する。
このアプローチは、ニューラルネットワークの非線形性とフィードバック相互接続の安定性解析のための柔軟で汎用的なフレームワークを提供する。
論文 参考訳(メタデータ) (2021-03-31T14:21:03Z) - Dissipative Deep Neural Dynamical Systems [0.9864260997723973]
ニューラルネットワークを点方向アフィンマップとして表現することで、局所線形演算子を露出する。
これにより、ニューラルネットワークの動作の“ブラックボックスのクラック”が可能になります。
これらの局所線型作用素の動的挙動と固有値スペクトルのばらつきを、様々な重み分解、活性化関数、バイアス項、深さで解析する。
論文 参考訳(メタデータ) (2020-11-26T23:13:16Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。