論文の概要: Connectivity structure and dynamics of nonlinear recurrent neural networks

• arxiv url: http://arxiv.org/abs/2409.01969v1
• Date: Tue, 3 Sep 2024 15:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 01:08:09.465698
• Title: Connectivity structure and dynamics of nonlinear recurrent neural networks
• Title（参考訳）: 非線形リカレントニューラルネットワークの接続構造とダイナミクス
• Authors: David G. Clark, Owen Marschall, Alexander van Meegen, Ashok Litwin-Kumar,
• Abstract要約: 我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
• 参考スコア（独自算出の注目度）: 46.62658917638706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a theory to analyze how structure in connectivity shapes the high-dimensional, internally generated activity of nonlinear recurrent neural networks. Using two complementary methods -- a path-integral calculation of fluctuations around the saddle point, and a recently introduced two-site cavity approach -- we derive analytic expressions that characterize important features of collective activity, including its dimensionality and temporal correlations. To model structure in the coupling matrices of real neural circuits, such as synaptic connectomes obtained through electron microscopy, we introduce the random-mode model, which parameterizes a coupling matrix using random input and output modes and a specified spectrum. This model enables systematic study of the effects of low-dimensional structure in connectivity on neural activity. These effects manifest in features of collective activity, that we calculate, and can be undetectable when analyzing only single-neuron activities. We derive a relation between the effective rank of the coupling matrix and the dimension of activity. By extending the random-mode model, we compare the effects of single-neuron heterogeneity and low-dimensional connectivity. We also investigate the impact of structured overlaps between input and output modes, a feature of biological coupling matrices. Our theory provides tools to relate neural-network architecture and collective dynamics in artificial and biological systems.
• Abstract（参考訳）: 本研究では, 非線形リカレントニューラルネットワークの高次元, 内部的に発生する動作を接続構造がどう形成するかを解析する理論を開発する。 2つの相補的手法(サドル点周辺のゆらぎの経路積分計算)と,最近導入された2サイトキャビティアプローチ)を用いて,その次元性や時間的相関など,集団活動の重要な特徴を特徴づける解析式を導出する。 電子顕微鏡を用いて得られるシナプスコネクトームなどの実回路の結合行列の構造をモデル化するために,ランダム入力および出力モードと特定スペクトルを用いて結合行列をパラメータ化するランダムモードモデルを提案する。 このモデルにより、低次元構造が神経活動に与える影響を体系的に研究することができる。 これらの効果は、私たちが計算した集合的活動の特徴に現れ、単一ニューロンの活動のみを分析する際には検出できない。 結合行列の有効ランクと活性の次元の関係を導出する。 ランダムモードモデルを拡張することにより、単一ニューロンの不均一性と低次元接続性の効果を比較する。 また,生体結合行列の特徴である入力モードと出力モードの重なり構造の影響についても検討した。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。

関連論文リスト

• Integrating GNN and Neural ODEs for Estimating Non-Reciprocal Two-Body Interactions in Mixed-Species Collective Motion [0.0]
  本稿では,観測軌道から基礎となる運動方程式を推定するための新しいディープラーニングフレームワークを提案する。 本フレームワークは,グラフニューラルネットワークとニューラルディファレンシャル方程式を統合し,二体相互作用の効果的な予測を可能にする。
  論文  参考訳（メタデータ） (2024-05-26T09:47:17Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Equivalence of Additive and Multiplicative Coupling in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。 加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
  論文  参考訳（メタデータ） (2023-03-31T20:19:11Z)
• Dimension of activity in random neural networks [6.752538702870792]
  ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
  論文  参考訳（メタデータ） (2022-07-25T17:38:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。