論文の概要: Structure of activity in multiregion recurrent neural networks

• arxiv url: http://arxiv.org/abs/2402.12188v3
• Date: Wed, 08 Jan 2025 17:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:53:43.720424
• Title: Structure of activity in multiregion recurrent neural networks
• Title（参考訳）: 多領域リカレントニューラルネットワークの活性構造
• Authors: David G. Clark, Manuel Beiran,
• Abstract要約: 本研究では,複数領域のリカレントニューラルネットワークについて検討し,それぞれランダムおよび構造化された接続を持つニューロンについて検討した。 通信サブスペースの実験的な証拠に触発され、領域間の低ランク接続を利用して、選択的アクティブルーティングを実現する。 我々は、地域が、しばしば緊張状態にある、活動のジェネレータと送信機の両方として機能することを示します。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License:
• Abstract: Neural circuits comprise multiple interconnected regions, each with complex dynamics. The interplay between local and global activity is thought to underlie computational flexibility, yet the structure of multiregion neural activity and its origins in synaptic connectivity remain poorly understood. We investigate recurrent neural networks with multiple regions, each containing neurons with random and structured connections. Inspired by experimental evidence of communication subspaces, we use low-rank connectivity between regions to enable selective activity routing. These networks exhibit high-dimensional fluctuations within regions and low-dimensional signal transmission between them. Using dynamical mean-field theory, with cross-region currents as order parameters, we show that regions act as both generators and transmitters of activity -- roles that are often in tension. Taming within-region activity can be crucial for effective signal routing. Unlike previous models that suppressed neural activity to control signal flow, our model achieves routing by exciting different high-dimensional activity patterns through connectivity structure and nonlinear dynamics. Our analysis offers insights into multiregion neural data and trained neural networks.
• Abstract（参考訳）: 神経回路は複数の相互接続領域から構成され、それぞれが複雑な力学を持つ。 局所的な活動とグローバルな活動の相互作用は計算の柔軟性を損なうと考えられているが、多領域の神経活動の構造とそのシナプス接続の起源は理解されていない。 本稿では,複数領域のリカレントニューラルネットワークについて検討する。 通信サブスペースの実験的な証拠に触発され、領域間の低ランク接続を利用して、選択的アクティブルーティングを実現する。 これらのネットワークは、領域内の高次元変動とそれらの間の低次元信号伝達を示す。 動的平均場理論を用いて、領域間電流を順序パラメータとして、領域が、しばしば緊張状態にあるような、活動のジェネレータと送信機の両方として働くことを示す。 領域内アクティビティのモデリングは、効果的なシグナルルーティングに不可欠である。 信号の流れを制御するために神経活動を抑制する従来のモデルとは異なり、我々のモデルは接続構造や非線形力学を通じて、刺激的な高次元のアクティビティパターンによってルーティングを実現する。 私たちの分析は、マルチリージョンのニューラルネットワークとトレーニングされたニューラルネットワークに関する洞察を提供する。

関連論文リスト

• Connectivity structure and dynamics of nonlinear recurrent neural networks [46.62658917638706]
  我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Decomposing spiking neural networks with Graphical Neural Activity Threads [0.734084539365505]
  本稿では,神経活動を複数の非結合な並列スレッドに分解するスパイクニューラルネットワークの解析手法を提案する。 このスパイク活性のグラフは自然に空間と時間に重なる解離連結成分に分解される。 我々は,大きなスパイクデータセットで再起する類似スレッドを見つけるための効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-29T05:10:11Z)
• Dimension of activity in random neural networks [6.752538702870792]
  ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
  論文  参考訳（メタデータ） (2022-07-25T17:38:21Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
  線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。 一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。 我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
  論文  参考訳（メタデータ） (2020-10-28T23:11:37Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。