論文の概要: An optimization-based equilibrium measure describes non-equilibrium
steady state dynamics: application to edge of chaos
- arxiv url: http://arxiv.org/abs/2401.10009v1
- Date: Thu, 18 Jan 2024 14:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:24:23.463548
- Title: An optimization-based equilibrium measure describes non-equilibrium
steady state dynamics: application to edge of chaos
- Title（参考訳）: 非平衡定常状態ダイナミクスを記述する最適化に基づく平衡測度:カオスのエッジへの応用
- Authors: Junbin Qiu and Haiping Huang
- Abstract要約: 最適化問題として定常状態を求めることは、勾配ダイナミクスの実行と等価であることを示す。
このフレームワーク内では、ニューラルネットワークの焼き込み内因性障害を平均化することができる。
本手法は,決定論的・高次元力学の定常景観を解析的に研究するための扉を開く。
- 参考スコア（独自算出の注目度）: 3.0349733976070024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding neural dynamics is a central topic in machine learning,
non-linear physics and neuroscience. However, the dynamics is non-linear,
stochastic and particularly non-gradient, i.e., the driving force can not be
written as gradient of a potential. These features make analytic studies very
challenging. The common tool is to use path integral approach or dynamical
mean-field theory, but the drawback is one has to solve the
integro-differential or dynamical mean-field equations, which is
computationally expensive and has no closed form solutions in general. From the
aspect of associated Fokker-Planck equation, the steady state solution is
generally unknown. Here, we treat searching for the steady state as an
optimization problem, and construct an approximate potential closely related to
the speed of the dynamics, and find that searching for the ground state of this
potential is equivalent to running a stochastic gradient dynamics. The
resultant stationary state follows exactly the canonical Boltzmann measure.
Within this framework, the quenched disorder intrinsic in the neural networks
can be averaged out by applying the replica method. Our theory reproduces the
well-known result of edge-of-chaos, and further the order parameters
characterizing the continuous transition are derived, and different scaling
behavior with respect to inverse temperature in both sides of the transition is
also revealed. Our method opens the door to analytically study the steady state
landscape of the deterministic or stochastic high dimensional dynamics.
- Abstract（参考訳）: ニューラルダイナミクスを理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。
しかし、動力学は非線形であり、確率的であり、特に非線形であり、すなわち、駆動力はポテンシャルの勾配として書けない。
これらの特徴は分析研究を非常に困難にする。
一般的なツールは経路積分法や力学平均場理論を使うが、欠点は積分微分方程式や力学平均場方程式を解く必要があることである。
関連するフォッカー・プランク方程式の側面から、定常状態解は一般に未知である。
本稿では,定常状態の探索を最適化問題として扱い,動力学の速度と密接に関連した近似ポテンシャルを構築し,このポテンシャルの基底状態の探索は確率的勾配ダイナミクスの実行と等価であることを示す。
結果の定常状態は、正確に標準ボルツマン測度に従う。
この枠組み内では、ニューラルネットワークに固有の焼成障害をレプリカ法を適用して平均化することができる。
本理論はエッジ・オブ・カオスのよく知られた結果を再現し、さらに連続遷移を特徴付ける順序パラメータを導出し、遷移の両側の逆温度に対する異なるスケーリング挙動も明らかにした。
本手法は,決定論的・確率的高次元力学の定常景観を解析的に研究するための扉を開く。
関連論文リスト
- Is the effective potential, effective for dynamics? [8.273855626116564]
エネルギーの保存は、動的進化から非常に励起され、絡み合った定常状態が出現する。
その結果, 次数パラメータとエネルギー密度の平衡状態の新たな評価法が示唆された。
論文 参考訳（メタデータ） (2024-03-11T18:19:06Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - An information field theory approach to Bayesian state and parameter estimation in dynamical systems [0.0]
本稿では、連続時間決定論的力学系に適した状態とパラメータ推定のためのスケーラブルなベイズ的手法を開発する。
システム応答の関数空間に物理インフォームドされた事前確率測度を構築し、物理を満たす関数がより高い確率で現れるようにする。
論文 参考訳（メタデータ） (2023-06-03T16:36:43Z) - Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。
無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。
本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-27T08:00:13Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳（メタデータ） (2022-02-15T19:00:09Z) - The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations,
and Anomalous Diffusion [29.489737359897312]
勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。
これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
論文 参考訳（メタデータ） (2021-07-19T20:18:57Z) - Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods
in Paradigmatic High-Dimensional Non-Convex Problem [12.132641563193584]
損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。
実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
論文 参考訳（メタデータ） (2021-02-23T15:30:57Z) - Learning non-stationary Langevin dynamics from stochastic observations
of latent trajectories [0.0]
データからランゲヴィン方程式を推定すると、そのような系の過渡的力学がそれらの函数をいかに引き起こすかが明らかになる。
本稿では,観測過程と非定常潜時力学を明示的にモデル化したランジュバン方程式を推定する非定常枠組みを提案する。
これらの非定常コンポーネントのいずれかを省略すると、不定常データ分布によるダイナミクスに誤った特徴が生じる誤った推論が発生します。
論文 参考訳（メタデータ） (2020-12-29T21:22:21Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳（メタデータ） (2020-10-28T15:23:49Z) - Sparse Identification of Nonlinear Dynamical Systems via Reweighted
$\ell_1$-regularized Least Squares [62.997667081978825]
本研究は, 非線形系の制御方程式をノイズ状態測定から復元するための繰り返しスパース規則化回帰法を提案する。
本研究の目的は、状態測定ノイズの存在下での手法の精度とロバスト性を改善することである。
論文 参考訳（メタデータ） (2020-05-27T08:30:15Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。