論文の概要: Anti-Collapse Dynamics and the Emergence of Multi-Time-Scale Learning in Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2606.29519v1
- Date: Sun, 28 Jun 2026 17:30:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.948509
- Title: Anti-Collapse Dynamics and the Emergence of Multi-Time-Scale Learning in Recurrent Neural Networks
- Title（参考訳）: リカレントニューラルネットワークにおける反崩壊ダイナミクスとマルチスケール学習の創発
- Abstract要約: 長い減衰クラス $f(ell)$ はアーキテクチャによって固定されないことを示す。
状態ダイナミクスとパラメータダイナミクスの結合から生まれる。
ひとつの指数が時間スケールの広がりと、ネットワークがどれだけ遅く忘れているかを制御します。
- 参考スコア（独自算出の注目度）: 3.924071936547547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-range learning is hard for recurrent networks trained with stochastic gradient descent, because the influence of a past input fades with the lag $\ell$, and if it fades too fast the dependence cannot be learned from finite data. This fade is captured by an envelope $f(\ell)$. An exponential fade makes the data needed to learn a lag-$\ell$ dependence grow exponentially, putting long horizons out of reach; a power-law fade keeps the cost polynomial. We show that the asymptotic decay class of $f(\ell)$ is not fixed by the architecture. Instead, it emerges from the coupling between the state dynamics and parameter dynamics, settling into either a collapsed regime (fast, exponential forgetting) or an extended, anti-collapsed regime (slow, power-law forgetting). The intuition is a competition within these coupled dynamics. Training drives the network's effective time scales toward short ones, while rare, heavy-tailed fluctuations of the learning dynamics push a few of them to very long values. The extended regime survives only when these heavy-tailed pushes are strong enough to balance the pull. We make this mathematically precise with a coarse-grained stochastic process and prove exactly when the extended regime exists. A single exponent, the spectral exponent~$β$, then governs both the spread of time scales and how slowly the network forgets. Realizing the regime in practice needs one more ingredient: the joint action of the architecture and the optimizer must be able to hold such a broad spread. A network whose capacity to generate broad time-scale spectra is severely constrained still collapses, even when supplied with strong heavy-tailed forcing. Heavy-tailed fluctuations thus act not as noise to be suppressed, but as the mechanism that sustains long-range learning.
- Abstract（参考訳）: なぜなら、過去の入力の影響は lag $\ell$ で消え、もしそれが速すぎると、有限データから依存が学べないからである。
このフェードはエンベロープ$f(\ell)$によってキャプチャされる。
指数関数的なフェードは、ラグの$$$依存を学習するために必要なデータを指数関数的に増加させ、長い地平線を到達から外す。
我々は、$f(\ell)$ の漸近減衰クラスがアーキテクチャによって固定されないことを示す。
その代わり、状態力学とパラメータ力学の結合から生まれ、崩壊した状態(高速で指数論的に忘れる)か、拡張された反崩壊状態(スロー、パワーローな忘れる)に落ち着く。
直観はこれらの結合力学における競合である。
トレーニングはネットワークの効率的な時間スケールを短いものへと押し上げ、希少で重い尾のゆらぎは学習ダイナミクスを非常に長い値に押し上げる。
延長されたレシエーションは、この重い尾を持つプッシュがプルのバランスをとるのに十分な強度を持つ場合にのみ生存する。
これを粗粒の確率過程で数学的に正確にし、拡張された状態が存在することを正確に証明する。
単一の指数であるスペクトル指数~$β$は、時間スケールの広がりとネットワークがどれだけゆっくりと忘れているかの両方を支配します。
アーキテクチャとオプティマイザの共同動作は、このような広い範囲を維持できなければならない。
広い時間スケールのスペクトルを生成する能力を持つネットワークは、強い重み付き強制力で供給された場合でも、依然として崩壊する。
したがって、重尾のゆらぎは抑圧されるノイズとしてではなく、長距離学習を維持するメカニズムとして機能する。
関連論文リスト
- Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions [5.674162165646654]
既存の運動量理論は、勾配がほぼ一定の速度で全てのパラメータに到達すると仮定する。
スパース更新下での2つの運動量モデルの運動力学を理論的に解析する。
論文 参考訳（メタデータ） (2026-05-27T18:06:41Z) - Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws [2.779943773196378]
高い非線形最適化ダイナミクスにもかかわらず、ディープ・ネットワーク・トレーニングは単純なマクロ構造に従うことを示す。
平均二乗誤差損失の場合、トレーニングエラーは$dot e_t=-M(t)e_t$と$M(t)=J_(t)J_(t)!*$として進化する。
このフレームワークは、ニューラルスケーリング法則と二重降下を説明し、遅延(NTKライクな)トレーニングと特徴学習を同一スペクトルシェルの2つの限界として統一する。
論文 参考訳（メタデータ） (2025-12-11T08:38:46Z) - Learnability Window in Gated Recurrent Neural Networks [3.924071936547547]
ゲート機構は、リカレントニューラルネットワークの学習性ウィンドウ$mathcalH_N$を決定する。
学習容易性は,効果学習率$_t,ell$,ラグあたり,ニューロンあたりの量によって制御されていることを示す。
論文 参考訳（メタデータ） (2025-12-05T15:16:59Z) - Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。
学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。
これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
論文 参考訳（メタデータ） (2025-07-02T20:03:34Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
我々は、失われたヘッセンのレンズを通して風景を研究する。
我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。
ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
論文 参考訳（メタデータ） (2024-02-27T12:28:01Z) - Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean
Field Neural Networks [47.73646927060476]
広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。
我々の結果は、特徴学習の強みにおいて非摂動的である。
論文 参考訳（メタデータ） (2023-04-06T23:11:49Z) - Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。
DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文 参考訳（メタデータ） (2022-10-26T10:09:14Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳（メタデータ） (2021-10-26T17:35:21Z) - Expressivity of Neural Networks via Chaotic Itineraries beyond
Sharkovsky's Theorem [8.492084752803528]
ターゲット関数が$f$であれば、ニューラルネットワークは$f$を近似するためにどのくらいの大きさでなければならないか?
近年の研究では、力学系のレンズから得られる「ニューラルネットワークのテキスト表現性」に関する基本的な問題について検討している。
論文 参考訳（メタデータ） (2021-10-19T22:28:27Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Better Depth-Width Trade-offs for Neural Networks through the lens of
Dynamical Systems [24.229336600210015]
近年, 動的システムとの新たな接続により, ReLU ネットワークの深度分離結果を得た。
既存の幅の低い境界を、いくつかの面で改善する。
我々の結果の副産物は、深さ幅のトレードオフを特徴づける普遍定数が存在することである。
論文 参考訳（メタデータ） (2020-03-02T11:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。