論文の概要: Structure of activity in multiregion recurrent neural networks

• arxiv url: http://arxiv.org/abs/2402.12188v2
• Date: Tue, 20 Feb 2024 17:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 11:28:52.820771
• Title: Structure of activity in multiregion recurrent neural networks
• Title（参考訳）: 多領域リカレントニューラルネットワークにおける活動構造
• Authors: David G. Clark, Manuel Beiran
• Abstract要約: 複数の相互接続領域を持つニューラルネットワークのダイナミクスについて検討する。 各領域内では、ニューロンはランダムなリカレント接続と構造化されたリカレント接続の組み合わせを持つ。 地域内の活動の複雑さに対処するためには,他の地域への信号のルーティングが不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural circuits are composed of multiple regions, each with rich dynamics and engaging in communication with other regions. The combination of local, within-region dynamics and global, network-level dynamics is thought to provide computational flexibility. However, the nature of such multiregion dynamics and the underlying synaptic connectivity patterns remain poorly understood. Here, we study the dynamics of recurrent neural networks with multiple interconnected regions. Within each region, neurons have a combination of random and structured recurrent connections. Motivated by experimental evidence of communication subspaces between cortical areas, these networks have low-rank connectivity between regions, enabling selective routing of activity. These networks exhibit two interacting forms of dynamics: high-dimensional fluctuations within regions and low-dimensional signal transmission between regions. To characterize this interaction, we develop a dynamical mean-field theory to analyze such networks in the limit where each region contains infinitely many neurons, with cross-region currents as key order parameters. Regions can act as both generators and transmitters of activity, roles that we show are in conflict. Specifically, taming the complexity of activity within a region is necessary for it to route signals to and from other regions. Unlike previous models of routing in neural circuits, which suppressed the activities of neuronal groups to control signal flow, routing in our model is achieved by exciting different high-dimensional activity patterns through a combination of connectivity structure and nonlinear recurrent dynamics. This theory provides insight into the interpretation of both multiregion neural data and trained neural networks.
• Abstract（参考訳）: ニューラルネットワークは複数の領域で構成され、それぞれがリッチなダイナミクスを持ち、他の領域との通信に従事している。 局所的領域内ダイナミクスとグローバルネットワークレベルのダイナミクスの組み合わせは、計算の柔軟性を提供すると考えられている。 しかし、そのような多領域ダイナミクスの性質と基盤となるシナプス接続パターンは、いまだによく分かっていない。 本稿では,複数の相互接続領域を有するリカレントニューラルネットワークのダイナミクスについて検討する。 各領域内では、ニューロンはランダムと構造化されたリカレント接続の組み合わせを持っている。 皮質領域間の通信部分空間の実験的な証拠により、これらのネットワークは領域間の低ランク接続を持ち、活動の選択的ルーティングを可能にする。 これらのネットワークは、領域内の高次元のゆらぎと、領域間の低次元信号伝達の2つの相互作用形態を示す。 この相互作用を特徴付けるために、各領域が無限個のニューロンを含む限界において、それらのネットワークを解析するための動的平均場理論を開発し、交差領域電流をキーオーダーパラメータとする。 リージョンは、私たちが競合している役割であるアクティビティのジェネレータとトランスミッターの両方として機能する。 特に、ある領域内の活動の複雑さを和らげるには、他の領域への信号のルーティングが必要である。 神経回路における従来モデルと異なり,信号の流れを制御するニューロン群の活動を抑制していたが,接続構造と非線形リカレントダイナミクスの組み合わせにより,様々な高次元活動パターンを刺激することにより,神経回路のルーティングを実現する。 この理論は、マルチリージョンニューラルネットワークとトレーニングニューラルネットワークの両方の解釈に関する洞察を与える。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Decomposing spiking neural networks with Graphical Neural Activity Threads [0.734084539365505]
  本稿では,神経活動を複数の非結合な並列スレッドに分解するスパイクニューラルネットワークの解析手法を提案する。 このスパイク活性のグラフは自然に空間と時間に重なる解離連結成分に分解される。 我々は,大きなスパイクデータセットで再起する類似スレッドを見つけるための効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-29T05:10:11Z)
• Equivalence of Additive and Multiplicative Coupling in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。 加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
  論文  参考訳（メタデータ） (2023-03-31T20:19:11Z)
• Dimension of activity in random neural networks [6.752538702870792]
  ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
  論文  参考訳（メタデータ） (2022-07-25T17:38:21Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Rich dynamics caused by known biological brain network features resulting in stateful networks [0.0]
  ニューロン/ネットワークの内部状態は、情報がどのようにネットワーク内で表現されるかを定義する要素となる。 本研究では,ネットワーク状態のダイナミクスを豊かにするニューロンの固有の内在的パラメータが与える影響について検討した。 このような効果は密結合ネットワークよりも疎結合ネットワークにおいて深いことが判明した。
  論文  参考訳（メタデータ） (2021-06-03T08:32:43Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
  線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。 一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。 我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
  論文  参考訳（メタデータ） (2020-10-28T23:11:37Z)
• Training spiking neural networks using reinforcement learning [0.0]
  本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。 本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。 我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
  論文  参考訳（メタデータ） (2020-05-12T17:40:36Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。