論文の概要: Slow Transition to Low-Dimensional Chaos in Heavy-Tailed Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2505.09816v1
• Date: Wed, 14 May 2025 21:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.116645
• Title: Slow Transition to Low-Dimensional Chaos in Heavy-Tailed Recurrent Neural Networks
• Title（参考訳）: 重み付きリカレントニューラルネットワークにおける低次元カオスのスロー遷移
• Authors: Yi Xie, Stefan Mihalas, Łukasz Kuśmierz,
• Abstract要約: 生物学的に妥当なL'evyα安定分布から得られたランダムな重み付きリカレントニューラルネットワーク(RNN)の活性について検討した。 理論的には、システムがキラキセントからカオス力学に遷移する際の利得を予測し、シミュレーションにより検証する。 以上の結果から,カオスの端付近の力学の強靭性と高次元神経活動の豊かさとの生物学的に整合したトレードオフが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.098619171200725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Growing evidence suggests that synaptic weights in the brain follow heavy-tailed distributions, yet most theoretical analyses of recurrent neural networks (RNNs) assume Gaussian connectivity. We systematically study the activity of RNNs with random weights drawn from biologically plausible L\'evy alpha-stable distributions. While mean-field theory for the infinite system predicts that the quiescent state is always unstable -- implying ubiquitous chaos -- our finite-size analysis reveals a sharp transition between quiescent and chaotic dynamics. We theoretically predict the gain at which the system transitions from quiescent to chaotic dynamics, and validate it through simulations. Compared to Gaussian networks, heavy-tailed RNNs exhibit a broader parameter regime near the edge of chaos, namely a slow transition to chaos. However, this robustness comes with a tradeoff: heavier tails reduce the Lyapunov dimension of the attractor, indicating lower effective dimensionality. Our results reveal a biologically aligned tradeoff between the robustness of dynamics near the edge of chaos and the richness of high-dimensional neural activity. By analytically characterizing the transition point in finite-size networks -- where mean-field theory breaks down -- we provide a tractable framework for understanding dynamics in realistically sized, heavy-tailed neural circuits.
• Abstract（参考訳）: 成長する証拠は、脳のシナプス重みが重い尾の分布に従うことを示唆しているが、リカレントニューラルネットワーク(RNN)の最も理論的な分析はガウス接続を仮定している。 生物学的に妥当なL''evyα安定分布から引き出されたランダムな重み付きRNNの活性を系統的に研究した。 無限系の平均場理論は、平衡状態は常に不安定である(ユビキタスカオスを意味する)と予測する一方で、我々の有限サイズ解析は、平衡状態とカオス力学の間の急激な遷移を明らかにしている。 理論的には、システムがキラキセントからカオス力学に遷移する際の利得を予測し、シミュレーションにより検証する。 ガウスネットワークと比較すると、重い尾を持つRNNはカオスの端付近でより広いパラメータ構造を示す。 しかし、このロバスト性にはトレードオフが伴う: 重い尾は引力のリアプノフ次元を減少させ、有効次元が低いことを示す。 以上の結果から,カオスの端付近の力学の強靭性と高次元神経活動の豊かさとの生物学的に整合したトレードオフが明らかとなった。 平均場理論が崩壊する有限サイズのネットワークにおいて、遷移点を解析的に特徴付けることにより、現実的な大きさの重み付きニューラルネットワークにおけるダイナミクスを理解するための抽出可能なフレームワークを提供する。

関連論文リスト

• Sparse chaos in cortical circuits [3.4137115855910767]
  神経インパルス発生の基本的特徴は神経回路の集合的カオスに大きく影響している。 不安定多様体の数, コルモゴロフ-シナイエントロピー, およびアトラクタ次元の劇的な減少を求める。 皮質回路では、生物物理学的性質はこのスパースカオスの体制に合わせているように見える。
  論文  参考訳（メタデータ） (2024-12-30T18:55:35Z)
• Exploiting Chaotic Dynamics as Deep Neural Networks [1.9282110216621833]
  カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。 本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。 この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
  論文  参考訳（メタデータ） (2024-05-29T22:03:23Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
  信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
  論文  参考訳（メタデータ） (2023-07-05T13:39:02Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Extended critical regimes of deep neural networks [0.0]
  重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。 この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。 効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
  論文  参考訳（メタデータ） (2022-03-24T10:15:50Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。