論文の概要: Structure of activity in multiregion recurrent neural networks

• arxiv url: http://arxiv.org/abs/2402.12188v2
• Date: Tue, 20 Feb 2024 17:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 11:28:52.820771
• Title: Structure of activity in multiregion recurrent neural networks
• Title（参考訳）: 多領域リカレントニューラルネットワークにおける活動構造
• Authors: David G. Clark, Manuel Beiran
• Abstract要約: 複数の相互接続領域を持つニューラルネットワークのダイナミクスについて検討する。 各領域内では、ニューロンはランダムなリカレント接続と構造化されたリカレント接続の組み合わせを持つ。 地域内の活動の複雑さに対処するためには,他の地域への信号のルーティングが不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural circuits are composed of multiple regions, each with rich dynamics and engaging in communication with other regions. The combination of local, within-region dynamics and global, network-level dynamics is thought to provide computational flexibility. However, the nature of such multiregion dynamics and the underlying synaptic connectivity patterns remain poorly understood. Here, we study the dynamics of recurrent neural networks with multiple interconnected regions. Within each region, neurons have a combination of random and structured recurrent connections. Motivated by experimental evidence of communication subspaces between cortical areas, these networks have low-rank connectivity between regions, enabling selective routing of activity. These networks exhibit two interacting forms of dynamics: high-dimensional fluctuations within regions and low-dimensional signal transmission between regions. To characterize this interaction, we develop a dynamical mean-field theory to analyze such networks in the limit where each region contains infinitely many neurons, with cross-region currents as key order parameters. Regions can act as both generators and transmitters of activity, roles that we show are in conflict. Specifically, taming the complexity of activity within a region is necessary for it to route signals to and from other regions. Unlike previous models of routing in neural circuits, which suppressed the activities of neuronal groups to control signal flow, routing in our model is achieved by exciting different high-dimensional activity patterns through a combination of connectivity structure and nonlinear recurrent dynamics. This theory provides insight into the interpretation of both multiregion neural data and trained neural networks.
• Abstract（参考訳）: ニューラルネットワークは複数の領域で構成され、それぞれがリッチなダイナミクスを持ち、他の領域との通信に従事している。 局所的領域内ダイナミクスとグローバルネットワークレベルのダイナミクスの組み合わせは、計算の柔軟性を提供すると考えられている。 しかし、そのような多領域ダイナミクスの性質と基盤となるシナプス接続パターンは、いまだによく分かっていない。 本稿では,複数の相互接続領域を有するリカレントニューラルネットワークのダイナミクスについて検討する。 各領域内では、ニューロンはランダムと構造化されたリカレント接続の組み合わせを持っている。 皮質領域間の通信部分空間の実験的な証拠により、これらのネットワークは領域間の低ランク接続を持ち、活動の選択的ルーティングを可能にする。 これらのネットワークは、領域内の高次元のゆらぎと、領域間の低次元信号伝達の2つの相互作用形態を示す。 この相互作用を特徴付けるために、各領域が無限個のニューロンを含む限界において、それらのネットワークを解析するための動的平均場理論を開発し、交差領域電流をキーオーダーパラメータとする。 リージョンは、私たちが競合している役割であるアクティビティのジェネレータとトランスミッターの両方として機能する。 特に、ある領域内の活動の複雑さを和らげるには、他の領域への信号のルーティングが必要である。 神経回路における従来モデルと異なり,信号の流れを制御するニューロン群の活動を抑制していたが,接続構造と非線形リカレントダイナミクスの組み合わせにより,様々な高次元活動パターンを刺激することにより,神経回路のルーティングを実現する。 この理論は、マルチリージョンニューラルネットワークとトレーニングニューラルネットワークの両方の解釈に関する洞察を与える。

関連論文リスト

• Connectivity structure and dynamics of nonlinear recurrent neural networks [46.62658917638706]
  我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Decomposing spiking neural networks with Graphical Neural Activity Threads [0.734084539365505]
  本稿では,神経活動を複数の非結合な並列スレッドに分解するスパイクニューラルネットワークの解析手法を提案する。 このスパイク活性のグラフは自然に空間と時間に重なる解離連結成分に分解される。 我々は,大きなスパイクデータセットで再起する類似スレッドを見つけるための効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-29T05:10:11Z)
• Dimension of activity in random neural networks [6.752538702870792]
  ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
  論文  参考訳（メタデータ） (2022-07-25T17:38:21Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
  線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。 一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。 我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
  論文  参考訳（メタデータ） (2020-10-28T23:11:37Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。