論文の概要: Non-Equilibrium Stochastic Dynamics as a Unified Framework for Insight and Repetitive Learning: A Kramers Escape Approach to Continual Learning

• arxiv url: http://arxiv.org/abs/2604.04154v1
• Date: Sun, 05 Apr 2026 15:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.948172
• Title: Non-Equilibrium Stochastic Dynamics as a Unified Framework for Insight and Repetitive Learning: A Kramers Escape Approach to Continual Learning
• Title（参考訳）: インテリジェンスと反復学習の統一フレームワークとしての非平衡確率ダイナミクス--連続学習へのクラマースエスケープアプローチ
• Authors: Gunn Kim,
• Abstract要約: ニューラルネットワークにおける連続学習は、安定性-塑性ジレンマによって根本的に制限される。 両問題が非平衡統計物理学における共通解であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning in artificial neural networks is fundamentally limited by the stability--plasticity dilemma: systems that retain prior knowledge tend to resist acquiring new knowledge, and vice versa. Existing approaches, most notably elastic weight consolidation~(EWC), address this empirically without a physical account of why plasticity eventually collapses as tasks accumulate. Separately, the distinction between sudden insight and gradual skill acquisition through repetitive practice has lacked a unified theoretical description. Here, we show that both problems admit a common resolution within non-equilibrium statistical physics. We model the state of a learning system as a particle evolving under Langevin dynamics on a double-well energy landscape, with the noise amplitude governed by a time-dependent effective temperature $T(t)$. The probability density obeys a Fokker--Planck equation, and transitions between metastable states are governed by the Kramers escape rate $k = (ω_0ω_b/2π)\,e^{-ΔE/T}$. We make two contributions. First, we identify the EWC penalty term as an energy barrier whose height grows linearly with the number of accumulated tasks, yielding an exponential collapse of the transition rate predicted analytically and confirmed numerically. Second, we show that insight and repetitive learning correspond to two qualitatively distinct temperature protocols within the same Fokker--Planck equation: insight events produce transient spikes in $T(t)$ that drive rapid barrier crossing, whereas repetitive practice operates at a modestly elevated but fixed temperature, achieving transitions through sustained stochastic diffusion. These results establish a physically grounded framework for understanding plasticity and its failure in continual learning systems, and suggest principled design criteria for adaptive noise schedules in artificial intelligence.
• Abstract（参考訳）: ニューラルネットワークにおける連続的な学習は、安定性-塑性ジレンマによって基本的に制限されている。 既存のアプローチ、特に弾力性のある重量凝縮(EWC)は、なぜ可塑性がタスクの蓄積とともに崩壊するかを物理的に説明せずに、経験的にこの問題に対処する。 同時に、急激な洞察と反復的な実践による段階的な技術習得の区別は、統一された理論的な記述を欠いている。 ここでは、両問題が非平衡統計物理学における共通解であることを示す。 本研究では,Langevin 動力学の下で進行する粒子として,時間依存性の有効温度$T(t)$で制御される雑音振幅をモデル化する。 確率密度はフォッカー・プランク方程式に従っており、準安定状態間の遷移はクラマーズ脱出率$k = (ω_0ω_b/2π)\,e^{-ΔE/T}$によって支配される。 私たちは2つの貢献をします。 まず,EWCのペナルティ項を,蓄積されたタスク数とともに高さが直線的に増加するエネルギー障壁として同定し,解析的に予測され,数値的に確認された遷移速度の指数的崩壊をもたらす。 第2に、洞察と反復学習は、同じFokker-Planck方程式内の2つの定性的に異なる温度プロトコルに対応していることを示す: 洞察イベントは、急激な障壁交差を駆動する$T(t)$で過渡的なスパイクを発生させるが、反復練習は、緩やかに高めながら一定の温度で動作し、持続的な確率拡散を通じて遷移を達成する。 これらの結果は、連続学習システムにおける可塑性とその失敗を理解するための物理的基盤となる枠組みを確立し、人工知能における適応ノイズスケジュールの設計基準を提案する。

関連論文リスト

• Transformer Learning of Chaotic Collective Dynamics in Many-Body Systems [0.0]
  本稿では,自己注意に基づくトランスフォーマー・フレームワークが,カオス的集団力学をモデル化するための効果的なアプローチを提供することを示す。 相互作用クエンチが強い非線形およびカオス力学を誘導する一次元半古典的ホルシュタインモデルについて検討する。 本研究は, カオス多体システムにおいて, 効果的還元力学を学習するための強力なメカニズムとして, 自己意識を確立した。
  論文  参考訳（メタデータ） (2026-01-27T01:33:33Z)
• Identifiable learning of dissipative dynamics [25.409059056398124]
  I-OnsagerNetは、散逸ダイナミクスを直接トラジェクトリから学習するニューラルネットワークフレームワークである。 I-OnsagerNetはOnsagerの原理を拡張して、学習されたポテンシャルが定常密度から得られることを保証している。 このアプローチはエントロピーの生成を計算し、不可逆性を定量化し、平衡から逸脱を検出し定量化する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2025-10-28T07:57:14Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Data-driven particle dynamics: Structure-preserving coarse-graining for emergent behavior in non-equilibrium systems [0.8796261172196743]
  短周期スケールは創発的なバルク物理学と適切に結び付けられなければならないため、マルチスケールシステムはシミュレートが難しいことが知られている。 熱力学の第一法則と第二法則の離散的な概念を保存したメチトレクティックブラケット形式を用いた枠組みを提案する。 我々はPyTorchとLAMMPSの両方でオープンソース実装を提供し、様々な粒子ベースシステムへの大規模推論と再配置を可能にする。
  論文  参考訳（メタデータ） (2025-08-18T02:10:18Z)
• Unusual Diffusivity in Strongly Disordered Quantum Lattices: Random Dimer Model [0.0]
  超伝導量子ビットを用いた量子格子の研究を行った。 我々の予測は、強い障害下での非コヒーレントホッピングの従来の理解に挑戦する。 これにより、光電気および量子情報技術のための混乱したシステムを最適化する新たな洞察が得られる。
  論文  参考訳（メタデータ） (2024-05-31T14:09:48Z)
• Real-time dynamics of false vacuum decay [49.1574468325115]
  非対称二重井戸電位の準安定最小値における相対論的スカラー場の真空崩壊について検討した。 我々は,2粒子既約(2PI)量子実効作用の非摂動的枠組みを,Nの大規模展開において次から次へと誘導する順序で採用する。
  論文  参考訳（メタデータ） (2023-10-06T12:44:48Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。