論文の概要: Computational Inertia as a Conserved Quantity in Frictionless and Damped Learning Dynamics
- arxiv url: http://arxiv.org/abs/2505.19171v1
- Date: Sun, 25 May 2025 14:43:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.950293
- Title: Computational Inertia as a Conserved Quantity in Frictionless and Damped Learning Dynamics
- Title（参考訳）: 無摩擦・減衰学習ダイナミクスにおける保存量としての計算慣性
- Authors: Atahan Karagoz,
- Abstract要約: 計算慣性と呼ばれる連続時間最適化力学における保存量を特定する。
この保存法則を定式化し, 摂動下における解析的崩壊を導出し, その挙動を合成系で示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We identify a conserved quantity in continuous-time optimization dynamics, termed computational inertia. Defined as the sum of kinetic energy (parameter velocity) and potential energy (loss), this scalar remains invariant under idealized, frictionless training. We formalize this conservation law, derive its analytic decay under damping and stochastic perturbations, and demonstrate its behavior in a synthetic system. The invariant offers a compact lens for interpreting learning trajectories, and may inform theoretical tools for analyzing convergence, stability, and training geometry.
- Abstract（参考訳）: 計算慣性と呼ばれる連続時間最適化力学における保存量を特定する。
運動エネルギー(パラメータ速度)とポテンシャルエネルギー(損失)の和として定義され、このスカラーは理想的な摩擦のない訓練の下で不変である。
我々は, この保存則を定式化し, 減衰・確率摂動下における解析的崩壊を導出し, 合成系におけるその挙動を実証する。
この不変形は学習軌跡を解釈するためのコンパクトレンズを提供し、収束、安定性、およびトレーニング幾何学を解析するための理論的ツールを通知することができる。
関連論文リスト
- Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。
線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。
数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
論文 参考訳（メタデータ） (2025-04-16T10:39:43Z) - An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos [2.5690340428649328]
神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。
力学は非線形であり、特に非勾配、すなわち駆動力はポテンシャルの勾配として書けない。
論文 参考訳（メタデータ） (2024-01-18T14:25:32Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery [17.736465741047315]
離散ラグランジアンとその対称性群を運動の離散観測から学習する枠組みを導入する。
学習過程はラグランジアンの形を制限せず、速度や運動量の観測や予測を必要とせず、コスト項も含んでいる。
論文 参考訳（メタデータ） (2022-11-20T00:46:33Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳（メタデータ） (2022-02-15T19:00:09Z) - Structure-Preserving Learning Using Gaussian Processes and Variational
Integrators [62.31425348954686]
本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。
我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
論文 参考訳（メタデータ） (2021-12-10T11:09:29Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods
in Paradigmatic High-Dimensional Non-Convex Problem [12.132641563193584]
損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。
実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
論文 参考訳（メタデータ） (2021-02-23T15:30:57Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。