論文の概要: An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos
- arxiv url: http://arxiv.org/abs/2401.10009v2
- Date: Fri, 7 Jun 2024 06:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 20:17:18.355839
- Title: An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos
- Title（参考訳）: 最適化に基づく平衡測度は非平衡定常状態ダイナミクスを記述している:カオスのエッジへの応用
- Authors: Junbin Qiu, Haiping Huang,
- Abstract要約: 神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。
力学は非線形であり、特に非勾配、すなわち駆動力はポテンシャルの勾配として書けない。
- 参考スコア（独自算出の注目度）: 2.5690340428649328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding neural dynamics is a central topic in machine learning, non-linear physics and neuroscience. However, the dynamics is non-linear, stochastic and particularly non-gradient, i.e., the driving force can not be written as gradient of a potential. These features make analytic studies very challenging. The common tool is the path integral approach or dynamical mean-field theory, but the drawback is that one has to solve the integro-differential or dynamical mean-field equations, which is computationally expensive and has no closed form solutions in general. From the aspect of associated Fokker-Planck equation, the steady state solution is generally unknown. Here, we treat searching for the steady states as an optimization problem, and construct an approximate potential related to the speed of the dynamics, and find that searching for the ground state of this potential is equivalent to running an approximate stochastic gradient dynamics or Langevin dynamics. Only in the zero temperature limit, the distribution of the original steady states can be achieved. The resultant stationary state of the dynamics follows exactly the canonical Boltzmann measure. Within this framework, the quenched disorder intrinsic in the neural networks can be averaged out by applying the replica method, which leads naturally to order parameters for the non-equilibrium steady states. Our theory reproduces the well-known result of edge-of-chaos, and further the order parameters characterizing the continuous transition are derived, and the order parameters are explained as fluctuations and responses of the steady states. Our method thus opens the door to analytically study the steady state landscape of the deterministic or stochastic high dimensional dynamics.
- Abstract（参考訳）: 神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。
しかし、力学は非線形で確率的で特に非勾配であり、駆動力はポテンシャルの勾配として書けない。
これらの特徴は分析研究を非常に困難にしている。
一般的な道具は経路積分法あるいは力学平均場理論であるが、欠点は積分微分方程式や力学平均場方程式を解く必要があることである。
関連するフォッカー・プランク方程式の側面から、定常状態解は一般に未知である。
ここでは、定常状態の探索を最適化問題として扱い、動力学の速度に関する近似ポテンシャルを構築し、このポテンシャルの基底状態の探索は近似確率勾配力学やランゲヴィン力学と等価であることを示す。
ゼロ温度制限でのみ、元の定常状態の分布が達成される。
力学の結果としての定常状態は、ちょうど正準ボルツマン測度に従う。
この枠組み内では、ニューラルネットワークに内在する焼成障害は、非平衡定常状態の順序パラメータを自然に導くレプリカ法を適用することで、平均化することができる。
この理論は, エッジ・オブ・カオスのよく知られた結果を再現し, さらに連続遷移を特徴付ける順序パラメータを導出し, 順序パラメータを定常状態の揺らぎと応答として説明する。
そこで本手法は,決定論的・確率的高次元力学の定常景観を解析的に研究するための扉を開く。
関連論文リスト
- Is the effective potential, effective for dynamics? [8.273855626116564]
エネルギーの保存は、動的進化から非常に励起され、絡み合った定常状態が出現する。
その結果, 次数パラメータとエネルギー密度の平衡状態の新たな評価法が示唆された。
論文 参考訳（メタデータ） (2024-03-11T18:19:06Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - An information field theory approach to Bayesian state and parameter estimation in dynamical systems [0.0]
本稿では、連続時間決定論的力学系に適した状態とパラメータ推定のためのスケーラブルなベイズ的手法を開発する。
システム応答の関数空間に物理インフォームドされた事前確率測度を構築し、物理を満たす関数がより高い確率で現れるようにする。
論文 参考訳（メタデータ） (2023-06-03T16:36:43Z) - Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。
無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。
本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-27T08:00:13Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳（メタデータ） (2022-02-15T19:00:09Z) - The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations,
and Anomalous Diffusion [29.489737359897312]
勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。
これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
論文 参考訳（メタデータ） (2021-07-19T20:18:57Z) - Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods
in Paradigmatic High-Dimensional Non-Convex Problem [12.132641563193584]
損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。
実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
論文 参考訳（メタデータ） (2021-02-23T15:30:57Z) - Learning non-stationary Langevin dynamics from stochastic observations
of latent trajectories [0.0]
データからランゲヴィン方程式を推定すると、そのような系の過渡的力学がそれらの函数をいかに引き起こすかが明らかになる。
本稿では,観測過程と非定常潜時力学を明示的にモデル化したランジュバン方程式を推定する非定常枠組みを提案する。
これらの非定常コンポーネントのいずれかを省略すると、不定常データ分布によるダイナミクスに誤った特徴が生じる誤った推論が発生します。
論文 参考訳（メタデータ） (2020-12-29T21:22:21Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳（メタデータ） (2020-10-28T15:23:49Z) - Sparse Identification of Nonlinear Dynamical Systems via Reweighted
$\ell_1$-regularized Least Squares [62.997667081978825]
本研究は, 非線形系の制御方程式をノイズ状態測定から復元するための繰り返しスパース規則化回帰法を提案する。
本研究の目的は、状態測定ノイズの存在下での手法の精度とロバスト性を改善することである。
論文 参考訳（メタデータ） (2020-05-27T08:30:15Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。