論文の概要: Random matrix theory of sparse neuronal networks with heterogeneous timescales
- arxiv url: http://arxiv.org/abs/2512.12767v1
- Date: Sun, 14 Dec 2025 17:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:31.630165
- Title: Random matrix theory of sparse neuronal networks with heterogeneous timescales
- Title（参考訳）: 不均一時間スケールをもつスパースニューロンネットワークのランダム行列理論
- Authors: Thiparat Chotibut, Oleg Evnin, Weerawit Horinouchi,
- Abstract要約: リカレントニューロンネットワークのトレーニングは、運動記憶計算のための付加ノイズを伴う興奮性(E)と抑制性(I)ユニットから構成される。
本稿では、これらの平衡付近の力学を考察し、不均一なシナプス崩壊時間スケールとアクティベーション-関数ゲインによって修飾されたスパース非エルミート長方形ブロック行列であることを示す。
ヤコビアンの統計パラメータと、ロバストなワーキングメモリ計算に不可欠な平衡のほぼクリティカルな特徴を関連づけたスペクトルエッジの解析的記述を得る。
- 参考スコア（独自算出の注目度）: 0.6181093777643575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training recurrent neuronal networks consisting of excitatory (E) and inhibitory (I) units with additive noise for working memory computation slows and diversifies inhibitory timescales, leading to improved task performance that is attributed to emergent marginally stable equilibria [PNAS 122 (2025) e2316745122]. Yet the link between trained network characteristics and their roles in shaping desirable dynamical landscapes remains unexplored. Here, we investigate the Jacobian matrices describing the dynamics near these equilibria and show that they are sparse, non-Hermitian rectangular-block matrices modified by heterogeneous synaptic decay timescales and activation-function gains. We specify a random matrix ensemble that faithfully captures the spectra of trained Jacobian matrices, arising from the inhibitory core - excitatory periphery network motif (pruned E weights, broadly distributed I weights) observed post-training. An analytic theory of this ensemble is developed using statistical field theory methods: a Hermitized resolvent representation of the spectral density processed with a supersymmetry-based treatment in the style of Fyodorov and Mirlin. In this manner, an analytic description of the spectral edge is obtained, relating statistical parameters of the Jacobians (sparsity, weight variances, E/I ratio, and the distributions of timescales and gains) to near-critical features of the equilibria essential for robust working memory computation.
- Abstract（参考訳）: 興奮性 (E) と抑制性 (I) ユニットからなる反復神経回路のトレーニングは、作業記憶計算のための付加ノイズにより、抑制時間スケールが遅く、多様化し、即時安定な平衡 [PNAS 122 (2025) e2316745122] に起因するタスク性能が向上する。
しかし、トレーニングされたネットワーク特性と、望ましい動的景観の形成におけるそれらの役割との関係は未解明のままである。
本稿では,これらの平衡付近の力学を記述したヤコビ行列について検討し,不均一なシナプス崩壊時間スケールとアクティベーション-ファンクショナルゲインによって修飾されたスパースな非エルミート長方ブロック行列であることを示す。
実験後, 学習したヤコビ行列のスペクトルを忠実に捉えた無作為な行列アンサンブルを, 学習後に観察した抑制コア-興奮性周辺ネットワークモチーフ(pruned E weights, broadly distributed I weights)から抽出した。
このアンサンブルの分析理論は、統計場理論(英語版)法(英語版)(Hermitized resolvent representation of the spectrum density processing with a supersymmetric-based treatment in the style of Fyodorov and Mirlin)を用いて開発された。
このようにして、ヤコビアンの統計パラメータ(スパーシリティ、重み分散、E/I比、および時間スケールと利得の分布)を、堅牢なワーキングメモリ計算に不可欠な平衡のほぼクリティカルな特徴に関連付けて、スペクトルエッジの解析的記述を得る。
関連論文リスト
- Learning Dynamics in Memristor-Based Equilibrium Propagation [0.7266320276728724]
平衡伝播法(EqProp)を訓練したニューラルネットワークの収束挙動に及ぼす非線形メムリスタ駆動重み更新の影響について検討する。
EqPropは、メムリスタが少なくとも1桁の広い抵抗範囲を示すことを条件として、非線形重み更新の下で堅牢な収束を達成することができる。
論文 参考訳（メタデータ） (2025-12-13T18:57:05Z) - Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。
線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。
数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
論文 参考訳（メタデータ） (2025-04-16T10:39:43Z) - Semi-group influence matrices for non-equilibrium quantum impurity models [0.0]
平衡から量子不純物モデルのリアルタイムダイナミクスを記述するための枠組みを導入する。
オンサイト2フェミオン損失を持つ量子不純物モデルでは、スペクトル関数を計算し、大きな損失率で近藤物理学の出現を確認する。
論文 参考訳（メタデータ） (2025-01-31T19:00:42Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Spectrum of non-Hermitian deep-Hebbian neural networks [3.333967282951668]
連続時間力学におけるシーケンス検索のモデルに広帯域シナプス積分窓の実験的観測を統合する。
我々の研究は、任意の時間遅延を伴う時間差相関の体系的な研究を提供し、これにより、幅広い記憶モデルの将来の研究に刺激を与えることができる。
論文 参考訳（メタデータ） (2022-08-24T10:09:47Z) - Out-of-time-order correlations and the fine structure of eigenstate
thermalisation [58.720142291102135]
量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。
我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。
無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
論文 参考訳（メタデータ） (2021-03-01T17:51:46Z) - Modification of quantum many-body relaxation by perturbations exhibiting
a banded matrix structure [0.0]
孤立量子多体系の可観測緩和挙動は弱変量摂動に応答してどのように修正されるかを検討する。
鍵となる役割は、摂動行列要素の非摂動ハミルトニアンの固有基底への依存性を特徴づけるいわゆる摂動プロファイルによって演じられる。
論文 参考訳（メタデータ） (2020-08-09T15:29:01Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。