論文の概要: Connectivity structure and dynamics of nonlinear recurrent neural networks

• arxiv url: http://arxiv.org/abs/2409.01969v1
• Date: Tue, 3 Sep 2024 15:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-06 01:08:09.465698
• Title: Connectivity structure and dynamics of nonlinear recurrent neural networks
• Title（参考訳）: 非線形リカレントニューラルネットワークの接続構造とダイナミクス
• Authors: David G. Clark, Owen Marschall, Alexander van Meegen, Ashok Litwin-Kumar,
• Abstract要約: 我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
• 参考スコア（独自算出の注目度）: 46.62658917638706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a theory to analyze how structure in connectivity shapes the high-dimensional, internally generated activity of nonlinear recurrent neural networks. Using two complementary methods -- a path-integral calculation of fluctuations around the saddle point, and a recently introduced two-site cavity approach -- we derive analytic expressions that characterize important features of collective activity, including its dimensionality and temporal correlations. To model structure in the coupling matrices of real neural circuits, such as synaptic connectomes obtained through electron microscopy, we introduce the random-mode model, which parameterizes a coupling matrix using random input and output modes and a specified spectrum. This model enables systematic study of the effects of low-dimensional structure in connectivity on neural activity. These effects manifest in features of collective activity, that we calculate, and can be undetectable when analyzing only single-neuron activities. We derive a relation between the effective rank of the coupling matrix and the dimension of activity. By extending the random-mode model, we compare the effects of single-neuron heterogeneity and low-dimensional connectivity. We also investigate the impact of structured overlaps between input and output modes, a feature of biological coupling matrices. Our theory provides tools to relate neural-network architecture and collective dynamics in artificial and biological systems.
• Abstract（参考訳）: 本研究では, 非線形リカレントニューラルネットワークの高次元, 内部的に発生する動作を接続構造がどう形成するかを解析する理論を開発する。 2つの相補的手法(サドル点周辺のゆらぎの経路積分計算)と,最近導入された2サイトキャビティアプローチ)を用いて,その次元性や時間的相関など,集団活動の重要な特徴を特徴づける解析式を導出する。 電子顕微鏡を用いて得られるシナプスコネクトームなどの実回路の結合行列の構造をモデル化するために,ランダム入力および出力モードと特定スペクトルを用いて結合行列をパラメータ化するランダムモードモデルを提案する。 このモデルにより、低次元構造が神経活動に与える影響を体系的に研究することができる。 これらの効果は、私たちが計算した集合的活動の特徴に現れ、単一ニューロンの活動のみを分析する際には検出できない。 結合行列の有効ランクと活性の次元の関係を導出する。 ランダムモードモデルを拡張することにより、単一ニューロンの不均一性と低次元接続性の効果を比較する。 また,生体結合行列の特徴である入力モードと出力モードの重なり構造の影響についても検討した。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。

関連論文リスト

• Drift-Diffusion Matching: Embedding dynamics in latent manifolds of asymmetric neural networks [0.8793721044482612]
  低次元潜在部分空間内の任意の力学系を表現するために、連続時間RNNを訓練するための一般的なフレームワークを導入する。 RNNは、カオス誘引子のような非線形および非平衡ダイナミクスを含む、与えられた微分方程式のドリフトと拡散を忠実に埋め込むことができることを示す。 その結果、非対称なニューラルネットワークは、低次元の動的計算を幅広いクラスに実装でき、連想記憶、非平衡統計力学、ニューラル計算のアイデアを統一できることを示した。
  論文  参考訳（メタデータ） (2026-02-16T16:15:59Z)
• Krylov complexity in ergodically constrained nonintegrable transverse-field Ising model [0.0]
  我々は、スピンが異なる結合強度と相互作用する2つの等しいセグメントに鎖を分割する。 これらの結合の比は不均一性パラメータを定義し、ユニタリから遠ざかる変動は制約されたダイナミクスをもたらす。 さらに、クリロフ空間における作用素成長と系の固有状態における絡み合い生成の結果について検討する。
  論文  参考訳（メタデータ） (2025-12-23T11:50:01Z)
• Topology Identification and Inference over Graphs [61.06365536861156]
  グラフ上で進化するプロセスのトポロジの同定と推論は、脳、輸送、金融、電力、および社会的および情報ネットワークを含むタイムリーな応用に現れる。 本章では,多次元データに対するグラフトポロジ同定と統計的推測手法の概要について述べる。
  論文  参考訳（メタデータ） (2025-12-11T00:47:09Z)
• Statistics of correlations in nonlinear recurrent neural networks [0.0]
  我々は、多数のニューロンの極限における非線形リカレントネットワークの相関関係の統計の正確な式を導出する。 ネットワーク結合によって制御されるスケーリングの挙動を明らかにする。 さらに,Pade近似に基づくアクティベーション関数のクラスを導入し,相関統計に対する解析的予測を行う。
  論文  参考訳（メタデータ） (2025-10-06T19:12:58Z)
• Biologically Inspired Spiking Diffusion Model with Adaptive Lateral Selection Mechanism [5.135901078097114]
  我々はスパイキングニューラルネットワーク(SNN)に基づく新しい拡散モデルを開発する。 我々は,このスパイク内ループと横方向接続機構を併用して,サブ構造選択ネットワークを反復的に洗練する。 我々のモデルは、複数のベンチマークデータセットにまたがる最先端のSNNベースの生成モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-31T06:31:50Z)
• Exploring the Nexus of Many-Body Theories through Neural Network Techniques: the Tangent Model [4.955567578189708]
  本稿では,結合クラスタダウンフォールディングモデルに関連する効果的な相互作用の物理情報を用いたニューラルネットワーク表現を提案する。 この表現により,化学系の様々な幾何学的構成に対して効果的相互作用を効率的に評価することができる。
  論文  参考訳（メタデータ） (2025-01-27T05:36:55Z)
• Identifying the impact of local connectivity patterns on dynamics in excitatory-inhibitory networks [4.913318028439159]
  接続の特定のパターンである連鎖モチーフが、他のペアのモチーフよりも支配的な固有モチーフに強い影響を与えることを示す。 連鎖モチーフの過剰表現は、阻害支配ネットワークにおいて強い正の固有値を誘導する。 これらの知見は、オプトジェネティックな摂動に対する応答を計測し、皮質回路の動的構造を推測する実験の解釈に直接的な意味を持つ。
  論文  参考訳（メタデータ） (2024-11-11T08:57:44Z)
• Integrating GNN and Neural ODEs for Estimating Non-Reciprocal Two-Body Interactions in Mixed-Species Collective Motion [0.0]
  本稿では,観測軌道から基礎となる運動方程式を推定するための新しいディープラーニングフレームワークを提案する。 本フレームワークは,グラフニューラルネットワークとニューラルディファレンシャル方程式を統合し,二体相互作用の効果的な予測を可能にする。
  論文  参考訳（メタデータ） (2024-05-26T09:47:17Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Equivalence of Additive and Multiplicative Coupling in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワークモデルは、生物学的ニューロンの回路の創発的集団力学を特徴付ける。 加法結合を持つスパイクニューラルネットワークモデルは乗法結合を持つモデルと等価であることを示す。
  論文  参考訳（メタデータ） (2023-03-31T20:19:11Z)
• Order-invariant two-photon quantum correlations in PT-symmetric interferometers [62.997667081978825]
  線形フォトニック量子ネットワークにおける多光子相関は行列永久性によって制御される。 個々のビルディングブロックからのネットワークの全体的多光子挙動は直観に反する。 この結果は,小規模の非エルミートネットワークにおいても,量子相関を直感的に保存する新たな方法の導出となる。
  論文  参考訳（メタデータ） (2023-02-23T09:43:49Z)
• Dimension of activity in random neural networks [6.752538702870792]
  ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
  論文  参考訳（メタデータ） (2022-07-25T17:38:21Z)
• Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
  時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。 特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。 最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
  論文  参考訳（メタデータ） (2022-06-28T08:11:12Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。