論文の概要: Between Amnesia and Chaos: A Memory Stability Expressivity Trilemma for Trainable Dissipative Oscillator Networks
- arxiv url: http://arxiv.org/abs/2606.09929v1
- Date: Sun, 07 Jun 2026 14:46:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.056663
- Title: Between Amnesia and Chaos: A Memory Stability Expressivity Trilemma for Trainable Dissipative Oscillator Networks
- Title(参考訳): アムネシアとカオスの間:トレーニング可能な発散オシレータネットワークのためのメモリ安定性表現性トリレンマ
- Authors: Caleb Munigety,
- Abstract要約: メモリ水平線,勾配安定性,動的表現性を同時に最大化できないことを示す。
減衰スイープは、最も大きなリャプノフ指数モノトンを発見し、明確に定義された安定性のフロアでゼロを横断する。
このコントリビューションは、物理的基質が凍結する際のトレーニングの確認された説明である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical reservoir computing harnesses nonlinear mechanical dynamics but, by convention, freezes the substrate and trains only a linear readout, presuming the substrate is not usefully trainable. We revisit that premise for networks of nonlinear oscillators whose mass, damping, and stiffness are learned end-to-end through a symplectic integrator. Our central result is a trilemma: memory horizon, gradient stability, and dynamical expressivity cannot be simultaneously maximized, because all three are governed by the damping. The backward gradient decays at a rate set by the damping, capping how far back credit can propagate, while forward sensitivities grow exponentially in the largest Lyapunov exponent, so usable gradients require damping above a stability floor. Since the Lyapunov exponent falls as damping rises while the memory ceiling falls as the horizon grows, stable training is confined to a band that contracts with horizon and closes at a critical point. We test every step on a twenty-oscillator network. A damping sweep finds the largest Lyapunov exponent monotone and crossing zero at a well-defined stability floor, confirming the theorem's key assumption. A compute-matched comparison of learned versus frozen substrate on delayed recall across nine horizons shows the learned substrate dominating at short horizons and the advantage closing and reversing near a horizon of eleven steps, the predicted signature of band closure; trained models settle near the stability floor, seeking the edge of chaos unprompted. The analytic ceiling overestimates the empirical crossover roughly fivefold, a gap between detectable and learnable gradient that we report rather than tune away. The contribution is a confirmed account of when training a physical substrate beats freezing it.
- Abstract(参考訳): 物理貯水池計算は非線形力学的力学を利用するが、慣例により基板を凍結し、基板が有用でないと仮定して線形読み出しのみを訓練する。
シンプレクティックインテグレータを用いて、質量、減衰、剛性がエンドツーエンドに学習される非線形発振器ネットワークの前提について検討する。
我々の中心的な結果はトリレンマである:記憶の地平線、勾配安定性、動的表現性は同時に最大化できない。
後ろ向きの勾配は減衰によって設定された速度で減衰し、最も大きなリャプノフ指数において後向きの感度が指数関数的に増大する一方、安定床上での減衰が要求される。
リアプノフ指数は、地平線が大きくなるにつれて記憶天井が落ちる間に減衰が上昇するにつれて低下するため、安定トレーニングは地平線と収縮し臨界点に閉じるバンドに限られる。
私たちは20個のオシレータネットワークで全てのステップをテストします。
減衰スイープは、最も大きなリャプノフ指数単調で、よく定義された安定性のフロアでゼロを越えることを見つけ、定理の鍵となる仮定を裏付ける。
9つの地平線にわたる遅延リコールにおける学習基板と凍結基板の計算マッチングによる比較では、学習基板が短い地平線で支配し、11段の地平線近くで閉じて反転する利点が示され、バンド閉鎖の予測されたサインが得られた。
解析天井は、観測可能な勾配と学習可能な勾配とのギャップである、およそ5倍のクロスオーバーを過大評価する。
このコントリビューションは、物理的基質が凍結する際のトレーニングの確認された説明である。
関連論文リスト
- When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms [43.8784307709823]
物理信号の長距離自己回帰予測は誤差蓄積によって制限される。
物理的に構造化されたテストベッドとして,合成3成分地震計を用いて,このようなロールアウトが安定であるかどうかを問う。
論文 参考訳(メタデータ) (2026-06-09T13:46:14Z) - Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains [23.565936864449636]
無限水平割引マルコフ決定過程における古典的オンラインQ-ラーニングに対する最初の高い確率的後悔を示す。
十分な大きなギャップでは、後悔はサブリニアであり、小さなギャップでは劣化し、線形成長に近づく。
論文 参考訳(メタデータ) (2026-02-18T08:47:07Z) - Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。
未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。
次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
論文 参考訳(メタデータ) (2026-02-06T13:21:52Z) - Diagnosing and Breaking Amplitude Suppression in Seismic Phase Picking Through Adversarial Shape Learning [0.0]
高信号対雑音S波予測は、常に検出しきい値を超えず、抑圧された振幅で発振する。
S波のオンセットは高振幅境界に対する時間的不確実性を示し、CNNの急激な振幅変化に対するバイアスは、微妙なオンセットではなく、これらの境界への予測を固定する。
我々は、形状制約を強制する識別器を用いて従来のBCEトレーニングを強化することで、条件付きGANフレームワークによってこれを実装した。
論文 参考訳(メタデータ) (2025-11-10T05:52:43Z) - Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。
プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。
この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
論文 参考訳(メタデータ) (2024-10-07T16:49:39Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳(メタデータ) (2024-02-20T16:01:42Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳(メタデータ) (2022-06-08T21:32:50Z) - Solving the time-independent Schr\"odinger equation for chains of
coupled excitons and phonons using tensor trains [0.0]
テンソルトレイン形式を適用して時間に依存しないシュリンガー方程式を解く方法を示す。
また、(半)分析結果が存在する未結合問題についても検討する。
論文 参考訳(メタデータ) (2021-09-30T13:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。