論文の概要: Learning-Induced Dynamical Transition in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2609.19288v1
• Date: Wed, 16 Sep 2026 18:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.976749
• Title: Learning-Induced Dynamical Transition in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける学習誘起動的遷移
• Abstract要約: フィードバック駆動学習プロセスの遅いプロセスは、カオスから安定なダイナミクスへの移行を通じてネットワークを駆動する効果的なフィードバック強度を進化させることを示す。 この遷移は、学習されたフィードバック構造の成長によって、効果的な動的景観の進歩的な状態から生じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning in recurrent neural networks can fundamentally reshape their underlying dynamics, transforming initially chaotic activity into stable task-dependent behavior. We develop a non-equilibrium dynamical mean-field theory(DMFT) to describe this transition during learning. We show that a slow feedback-driven learning process generates an evolving effective feedback strength that drives the network through a transition from chaotic to stable dynamics defined by a bifurcation of the DMFT solution. By deriving the two-time correlation function throughout learning, we identify a critical feedback strength and a corresponding learning rate dependent critical time separating these regimes. The transition arises from the progressive deformation of an effective dynamical landscape by the growing learned feedback structure. Starting from the untrained state, the theory predicts the time evolution of the network output during training and shows quantitative agreement with numerical simulations.
• Abstract（参考訳）: リカレントニューラルネットワークの学習は、基礎となるダイナミクスを根本的に変えて、最初はカオス的なアクティビティを安定したタスク依存の振る舞いに変換する。 我々は、この遷移を学習中に記述するための非平衡力学平均場理論(DMFT)を開発した。 DMFTソリューションの分岐によって定義されるカオスから安定なダイナミクスへの移行を通じて,ネットワークを駆動する効果的なフィードバック強度を,遅いフィードバック駆動学習プロセスが生成することを示す。 学習を通しての2時間相関関数を導出することにより、これらの体制を分離する臨界フィードバック強度と、それに対応する学習速度依存臨界時間を特定する。 この遷移は、学習されたフィードバック構造の成長による効果的な動的景観の進行変形から生じる。 この理論は、トレーニング中のネットワーク出力の時間進化を予測し、数値シミュレーションと定量的に一致することを示す。

関連論文リスト

• Data-Efficient Neural Training with Dynamic Connectomes [1.2260914111581283]
  本稿では,神経活動の発達を機能的コネクトームとして表現することで,ニューラルネットワークのトレーニングダイナミクスを特徴付ける新しいアプローチを提案する。 これらのシグネチャは,ネットワークの機能的構造において重要な遷移を効果的に捉えていることを示す。
  論文  参考訳（メタデータ） (2025-08-09T04:32:23Z)
• New Evidence of the Two-Phase Learning Dynamics of Neural Networks [59.55028392232715]
  時間ウィンドウ全体にわたってネットワーク状態を比較するインターバルワイズ・パースペクティブを導入する。 摂動に対するネットワークの応答はカオスから安定への移行を示す。 また、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。
  論文  参考訳（メタデータ） (2025-05-20T04:03:52Z)
• On the Cone Effect in the Learning Dynamics [57.02319387815831]
  実世界の環境でのニューラルネットワークの学習力学を実証的に研究する。 第一相ではeNTKが著しく進化し、第二相ではeNTKが、第二相ではeNTKは進化し続けるが、狭い空間では制約される。
  論文  参考訳（メタデータ） (2025-03-20T16:38:25Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• Learning Continuous Network Emerging Dynamics from Scarce Observations via Data-Adaptive Stochastic Processes [11.494631894700253]
  我々は、データ適応型ネットワークダイナミクスによって制御される新しいプロセスのクラスであるODE Processs for Network Dynamics (NDP4ND)を紹介する。 提案手法はデータと計算効率に優れており,未確認のネットワークに適応できることを示す。
  論文  参考訳（メタデータ） (2023-10-25T08:44:05Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。