論文の概要: Statistics of correlations in nonlinear recurrent neural networks

• arxiv url: http://arxiv.org/abs/2510.21742v1
• Date: Mon, 06 Oct 2025 19:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 05:35:45.947969
• Title: Statistics of correlations in nonlinear recurrent neural networks
• Title（参考訳）: 非線形リカレントニューラルネットワークにおける相関の統計
• Authors: German Mato, Facundo Rigatuso, Gonzalo Torroba,
• Abstract要約: 我々は、多数のニューロンの極限における非線形リカレントネットワークの相関関係の統計の正確な式を導出する。 ネットワーク結合によって制御されるスケーリングの挙動を明らかにする。 さらに,Pade近似に基づくアクティベーション関数のクラスを導入し,相関統計に対する解析的予測を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The statistics of correlations are central quantities characterizing the collective dynamics of recurrent neural networks. We derive exact expressions for the statistics of correlations of nonlinear recurrent networks in the limit of a large number N of neurons, including systematic 1/N corrections. Our approach uses a path-integral representation of the network's stochastic dynamics, which reduces the description to a few collective variables and enables efficient computation. This generalizes previous results on linear networks to include a wide family of nonlinear activation functions, which enter as interaction terms in the path integral. These interactions can resolve the instability of the linear theory and yield a strictly positive participation dimension. We present explicit results for power-law activations, revealing scaling behavior controlled by the network coupling. In addition, we introduce a class of activation functions based on Pade approximants and provide analytic predictions for their correlation statistics. Numerical simulations confirm our theoretical results with excellent agreement.
• Abstract（参考訳）: 相関の統計は、リカレントニューラルネットワークの集合力学を特徴付ける中心的な量である。 我々は、系統的な1/N補正を含む、多数のニューロンNの極限における非線形リカレントネットワークの相関関係の統計の正確な式を導出する。 提案手法では,ネットワークの確率力学の経路積分表現を用いて記述を少数の集合変数に還元し,効率的な計算を可能にする。 これにより、線形ネットワーク上の以前の結果を一般化し、経路積分における相互作用項として入力される幅広い非線形活性化関数の族を含む。 これらの相互作用は線形理論の不安定性を解決し、厳密な正の参加次元を得ることができる。 ネットワーク結合によって制御されるスケーリングの挙動を明らかにする。 さらに,Pade近似に基づくアクティベーション関数のクラスを導入し,相関統計に対する解析的予測を行う。 数値シミュレーションは、我々の理論結果を優れた一致で確認する。

関連論文リスト

• Uncertainty propagation in feed-forward neural network models [3.987067170467799]
  我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。 鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
  論文  参考訳（メタデータ） (2025-03-27T00:16:36Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Connectivity structure and dynamics of nonlinear recurrent neural networks [41.038855001225826]
  ニューラルネットワークにおける接続構造が高次元集合活動をどのように形成するかを解析する理論を開発する。 単一ニューロンの活動では接続構造は見えず,集団活動は劇的に形成されている。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。