論文の概要: Connectivity structure and dynamics of nonlinear recurrent neural networks
- arxiv url: http://arxiv.org/abs/2409.01969v2
- Date: Sat, 16 Aug 2025 04:25:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:09.662078
- Title: Connectivity structure and dynamics of nonlinear recurrent neural networks
- Title（参考訳）: 非線形リカレントニューラルネットワークの接続構造とダイナミクス
- Authors: David G. Clark, Owen Marschall, Alexander van Meegen, Ashok Litwin-Kumar,
- Abstract要約: 非線形リカレントニューラルネットワークにおいて,構造が高次元集合活動をどのように形成するかを解析する理論を開発する。
単一ニューロンの活動では接続構造は見えず,集団活動は劇的に形成されている。
- 参考スコア（独自算出の注目度）: 46.62658917638706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Studies of the dynamics of nonlinear recurrent neural networks often assume independent and identically distributed couplings, but large-scale connectomics data indicate that biological neural circuits exhibit markedly different connectivity properties. These include rapidly decaying singular-value spectra and structured singular-vector overlaps. Here, we develop a theory to analyze how these forms of structure shape high-dimensional collective activity in nonlinear recurrent neural networks. We first introduce the random-mode model, a random-matrix ensemble related to the singular-value decomposition that enables control over the spectrum and right-left mode overlaps. Then, using a novel path-integral calculation, we derive analytic expressions that reveal how connectivity structure affects features of collective dynamics: the dimension of activity, which quantifies the number of high-variance collective-activity fluctuations, and the temporal correlations that characterize the timescales of these fluctuations. We show that connectivity structure can be invisible in single-neuron activities while dramatically shaping collective activity. Furthermore, despite the nonlinear, high-dimensional nature of these networks, the dimension of activity depends on just two connectivity parameters -- the variance of the couplings and the effective rank of the coupling matrix, which quantifies the number of dominant rank-one connectivity components. We contrast the effects of single-neuron heterogeneity and low-dimensional connectivity, making predictions about how z-scoring data affects the dimension of activity. Finally, we demonstrate the presence of structured overlaps between left and right modes in the \textit{Drosophila} connectome, incorporate them into the theory, and show how they further shape collective dynamics.
- Abstract（参考訳）: 非線形リカレントニューラルネットワークのダイナミクスの研究は、独立結合と同一結合を仮定することが多いが、大規模なコネクトロミクスデータから、生物学的ニューラルネットワークの接続性が著しく異なることが示されている。
これらは急速に崩壊する特異値スペクトルと構造化特異ベクトル重なりを含む。
本稿では, 非線形リカレントニューラルネットワークにおいて, これらの構造形状が高次元の集合活動をどのように形成するかを解析する理論を開発する。
まず、スペクトルと左右モードの重なりを制御可能な特異値分解に関するランダム行列アンサンブルであるランダムモードモデルを導入する。
そして, 新たな経路積分計算を用いて, 接続構造が集合力学の特徴に与える影響を明らかにする解析式を導出する。
単一ニューロンの活動では接続構造は見えず,集団活動は劇的に形成されている。
さらに、これらのネットワークの非線形で高次元の性質にもかかわらず、アクティビティの次元は2つの接続パラメータ(結合のばらつきと結合行列の効果的な階数)にのみ依存する。
我々は、単一ニューロンの不均一性と低次元接続の影響を対比し、z-scoringデータがアクティビティの次元にどのように影響するかを予測した。
最後に、左モードと右モードの間に構造的重複が存在することを『textit{Drosophila} Connectome』で示し、それらを理論に組み入れ、それらがどのように集団力学を形作るかを示す。
関連論文リスト
- Biologically Inspired Spiking Diffusion Model with Adaptive Lateral Selection Mechanism [5.135901078097114]
我々はスパイキングニューラルネットワーク(SNN)に基づく新しい拡散モデルを開発する。
我々は,このスパイク内ループと横方向接続機構を併用して,サブ構造選択ネットワークを反復的に洗練する。
我々のモデルは、複数のベンチマークデータセットにまたがる最先端のSNNベースの生成モデルを一貫して上回っている。
論文 参考訳（メタデータ） (2025-03-31T06:31:50Z) - Exploring the Nexus of Many-Body Theories through Neural Network Techniques: the Tangent Model [4.955567578189708]
本稿では,結合クラスタダウンフォールディングモデルに関連する効果的な相互作用の物理情報を用いたニューラルネットワーク表現を提案する。
この表現により,化学系の様々な幾何学的構成に対して効果的相互作用を効率的に評価することができる。
論文 参考訳（メタデータ） (2025-01-27T05:36:55Z) - Integrating GNN and Neural ODEs for Estimating Non-Reciprocal Two-Body Interactions in Mixed-Species Collective Motion [0.0]
本稿では,観測軌道から基礎となる運動方程式を推定するための新しいディープラーニングフレームワークを提案する。
本フレームワークは,グラフニューラルネットワークとニューラルディファレンシャル方程式を統合し,二体相互作用の効果的な予測を可能にする。
論文 参考訳（メタデータ） (2024-05-26T09:47:17Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。
これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。
本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-19T23:35:06Z) - Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳（メタデータ） (2024-03-04T23:12:42Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - Equivalence of Additive and Multiplicative Coupling in Spiking Neural
Networks [0.0]
スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。
加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
論文 参考訳（メタデータ） (2023-03-31T20:19:11Z) - Dimension of activity in random neural networks [6.752538702870792]
ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。
二点共分散をDMFTを用いて自己整合的に計算する。
我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
論文 参考訳（メタデータ） (2022-07-25T17:38:21Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。