論文の概要: The Global Structure of Codimension-2 Local Bifurcations in
Continuous-Time Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2111.04547v1
- Date: Mon, 8 Nov 2021 14:56:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 20:12:44.534745
- Title: The Global Structure of Codimension-2 Local Bifurcations in
Continuous-Time Recurrent Neural Networks
- Title（参考訳）: 連続時間リカレントニューラルネットワークにおけるCodimension-2局所分岐のグローバル構造
- Authors: Randall D. Beer
- Abstract要約: 我々は、連続時間リカレントニューラルネットワーク(CTRNN)における余次元-1局所分岐のパラメータ空間構造に関する以前の研究を拡張した。
具体的には、一般的なCTRNNに対して、すべての局所的余次元2分岐の必要条件を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: If we are ever to move beyond the study of isolated special cases in
theoretical neuroscience, we need to develop more general theories of neural
circuits over a given neural model. The present paper considers this challenge
in the context of continuous-time recurrent neural networks (CTRNNs), a simple
but dynamically-universal model that has been widely utilized in both
computational neuroscience and neural networks. Here we extend previous work on
the parameter space structure of codimension-1 local bifurcations in CTRNNs to
include codimension-2 local bifurcation manifolds. Specifically, we derive the
necessary conditions for all generic local codimension-2 bifurcations for
general CTRNNs, specialize these conditions to circuits containing from one to
four neurons, illustrate in full detail the application of these conditions to
example circuits, derive closed-form expressions for these bifurcation
manifolds where possible, and demonstrate how this analysis allows us to find
and trace several global codimension-1 bifurcation manifolds that originate
from the codimension-2 bifurcations.
- Abstract（参考訳）: 理論的神経科学における孤立した特殊なケースの研究を超えていくためには、与えられた神経モデルよりも、より一般的な神経回路の理論を開発する必要がある。
本稿では,この課題を,計算神経科学とニューラルネットワークの両方で広く活用されている,単純かつ動的に普遍的なモデルである連続時間リカレントニューラルネットワーク(ctrnns)の文脈で考察する。
ここでは、CTRNNにおける余次元-1局所分岐のパラメータ空間構造を、余次元-2局所分岐多様体を含むように拡張する。
Specifically, we derive the necessary conditions for all generic local codimension-2 bifurcations for general CTRNNs, specialize these conditions to circuits containing from one to four neurons, illustrate in full detail the application of these conditions to example circuits, derive closed-form expressions for these bifurcation manifolds where possible, and demonstrate how this analysis allows us to find and trace several global codimension-1 bifurcation manifolds that originate from the codimension-2 bifurcations.
関連論文リスト
- A General Framework of the Consistency for Large Neural Networks [0.0]
ニューラルネットワークの平均積分正方形誤差(MISE)を研究するための一般化正規化フレームワークを提案する。
筆者らのフレームワークから,MISE曲線は2つの可能な形状,すなわち2重降下形と単調下降形であることがわかった。
論文 参考訳（メタデータ） (2024-09-21T12:25:44Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳（メタデータ） (2023-07-05T13:26:17Z) - Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳（メタデータ） (2023-05-26T05:28:10Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Towards quantifying information flows: relative entropy in deep neural
networks and the renormalization group [0.0]
相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。
ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2021-07-14T18:00:01Z) - A global universality of two-layer neural networks with ReLU activations [5.51579574006659]
関数空間における2層ニューラルネットワークの集合の密度に関するニューラルネットワークの普遍性について検討する。
我々はノルムを適切に導入することで大域収束を考えるので、その結果は任意のコンパクト集合に対して一様となる。
論文 参考訳（メタデータ） (2020-11-20T05:39:10Z) - Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。
我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
論文 参考訳（メタデータ） (2020-07-28T14:54:30Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。