論文の概要: Unconditional stability of a recurrent neural circuit implementing divisive normalization
- arxiv url: http://arxiv.org/abs/2409.18946v2
- Date: Thu, 31 Oct 2024 15:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 05:22:52.952391
- Title: Unconditional stability of a recurrent neural circuit implementing divisive normalization
- Title（参考訳）: 分割正規化を実装したリカレントニューラルネットワークの無条件安定性
- Authors: Shivang Rawat, David J. Heeger, Stefano Martiniani,
- Abstract要約: 任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stability in recurrent neural models poses a significant challenge, particularly in developing biologically plausible neurodynamical models that can be seamlessly trained. Traditional cortical circuit models are notoriously difficult to train due to expansive nonlinearities in the dynamical system, leading to an optimization problem with nonlinear stability constraints that are difficult to impose. Conversely, recurrent neural networks (RNNs) excel in tasks involving sequential data but lack biological plausibility and interpretability. In this work, we address these challenges by linking dynamic divisive normalization (DN) to the stability of ORGaNICs, a biologically plausible recurrent cortical circuit model that dynamically achieves DN and that has been shown to simulate a wide range of neurophysiological phenomena. By using the indirect method of Lyapunov, we prove the remarkable property of unconditional local stability for an arbitrary-dimensional ORGaNICs circuit when the recurrent weight matrix is the identity. We thus connect ORGaNICs to a system of coupled damped harmonic oscillators, which enables us to derive the circuit's energy function, providing a normative principle of what the circuit, and individual neurons, aim to accomplish. Further, for a generic recurrent weight matrix, we prove the stability of the 2D model and demonstrate empirically that stability holds in higher dimensions. Finally, we show that ORGaNICs can be trained by backpropagation through time without gradient clipping/scaling, thanks to its intrinsic stability property and adaptive time constants, which address the problems of exploding, vanishing, and oscillating gradients. By evaluating the model's performance on RNN benchmarks, we find that ORGaNICs outperform alternative neurodynamical models on static image classification tasks and perform comparably to LSTMs on sequential tasks.
- Abstract（参考訳）: リカレントニューラルネットワークの安定性は、特にシームレスに訓練できる生物学的にもっともらしい神経力学モデルの開発において、大きな課題となる。
従来の皮質回路モデルは、力学系の膨張する非線形性のために訓練が難しいことで知られており、非線形安定性の制約を課すのが難しい最適化問題となっている。
逆に、リカレントニューラルネットワーク(RNN)は、シーケンシャルなデータを含むタスクでは優れているが、生物学的な妥当性と解釈性に欠ける。
本研究では,動的分割正規化(DN)とORGaNICsの安定性を結合することにより,これらの課題に対処する。
リアプノフの間接法を用いて、リカレント重み行列が恒等式であるとき、任意の次元ORGaNICs回路の非条件局所安定性の顕著な特性を証明した。
これにより、回路のエネルギー関数を導出し、回路と個々のニューロンが達成しようとしていることの規範的原理を提供する。
さらに、2次元モデルの安定性を実証し、より高次元における安定性を実証する。
最後に、ORGaNICsは、その固有の安定性と、爆発、消滅、発振勾配の問題に対処する適応時間定数のおかげで、勾配のクリッピング/スケーリングなしで時間的後方伝播によって訓練できることを示す。
RNNベンチマークでモデルの性能を評価することにより、ORGaNICsは静的画像分類タスクにおいて代替の神経力学モデルより優れ、シーケンシャルタスクではLSTMと相容れない性能を示すことがわかった。
関連論文リスト
- Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。
極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
論文 参考訳（メタデータ） (2024-11-15T08:52:12Z) - Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。
適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Neural Abstractions [72.42530499990028]
本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。
提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
論文 参考訳（メタデータ） (2023-01-27T12:38:09Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳（メタデータ） (2022-12-07T16:44:26Z) - Stabilized Neural Ordinary Differential Equations for Long-Time
Forecasting of Dynamical Systems [1.001737665513683]
衝撃やカオス力学を正確に捉えたデータ駆動モデリング手法を提案する。
我々は、線形項と非線形項を学習する2つのNNの出力を加えることで、ODEの右辺(SRH)を学習する。
具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
論文 参考訳（メタデータ） (2022-03-29T16:10:34Z) - Input-to-State Stable Neural Ordinary Differential Equations with
Applications to Transient Modeling of Circuits [11.636872461683742]
本稿では,入力から状態への安定な連続時間リカレントニューラルネットワークによってパラメータ化されたニューラル常微分方程式のクラスを提案する。
提案手法を用いて電子回路の動作モデルを安価にシミュレーションする。
論文 参考訳（メタデータ） (2022-02-14T01:51:05Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。