論文の概要: Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows

• arxiv url: http://arxiv.org/abs/2405.12888v1
• Date: Tue, 21 May 2024 15:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 17:33:24.779504
• Title: Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows
• Title（参考訳）: モメンタムを保ち続ける:ユークリッドのグラディエント・フローを超えて保存法則
• Authors: Sibylle Marcotte, Rémi Gribonval, Gabriel Peyré,
• Abstract要約: 運動量に基づく力学の保存則は時間的依存を示すことを示す。 また、勾配流から運動量力学へ遷移する際の「保存損失」も観察する。 この現象は非ユークリッド計量にも現れ、例えば非負行列因子化(NMF)に用いられる。
• 参考スコア（独自算出の注目度）: 28.287184613608435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conservation laws are well-established in the context of Euclidean gradient flow dynamics, notably for linear or ReLU neural network training. Yet, their existence and principles for non-Euclidean geometries and momentum-based dynamics remain largely unknown. In this paper, we characterize "all" conservation laws in this general setting. In stark contrast to the case of gradient flows, we prove that the conservation laws for momentum-based dynamics exhibit temporal dependence. Additionally, we often observe a "conservation loss" when transitioning from gradient flow to momentum dynamics. Specifically, for linear networks, our framework allows us to identify all momentum conservation laws, which are less numerous than in the gradient flow case except in sufficiently over-parameterized regimes. With ReLU networks, no conservation law remains. This phenomenon also manifests in non-Euclidean metrics, used e.g. for Nonnegative Matrix Factorization (NMF): all conservation laws can be determined in the gradient flow context, yet none persists in the momentum case.
• Abstract（参考訳）: 保存法則はユークリッド勾配流のダイナミックス、特に線形またはReLUニューラルネットワークトレーニングにおいて確立されている。 しかし、非ユークリッド測地と運動量に基づく力学の存在と原理はほとんど不明である。 本稿では,この一般的な環境における「全」保全法則を特徴付ける。 勾配流の場合とは対照的に、運動量に基づく力学の保存則が時間的依存を示すことが証明される。 さらに、勾配流から運動量力学へ遷移する際の「保存損失」もよく観察する。 具体的には, 線形ネットワークにおいて, 十分に過パラメータ化された状態を除いて, 勾配流の場合よりも少ない運動量保存法則を同定することができる。 ReLUネットワークでは、保存法は残っていない。 この現象は非ユークリッド計量にも現れ、例えば非負行列因子化(NMF)で用いられる: すべての保存則は勾配流の文脈で決定できるが、運動量の場合では持続しない。

関連論文リスト

• Dynamical freezing in the thermodynamic limit: the strongly driven ensemble [37.31317754926534]
  保存法則がなければ、周期的に駆動される(フロケット)システムは、特徴のない無限の温度状態に熱する。 ここでは、クリーンで相互作用するジェネリック・スピン・チェーン(英語版)が発見されるが、これは、非駆動系に存在しない安定な保存法則の出現によって防げる。 これらの創発的保存法則によって要求される場合、無限の部分系の絡み合いエントロピー密度はゼロのままである。
  論文  参考訳（メタデータ） (2024-10-14T19:57:43Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Tipping Point Forecasting in Non-Stationary Dynamics on Function Spaces [78.08947381962658]
  タップポイントは急激で、急激で、しばしば非定常力学系の進化における不可逆的な変化である。 我々は、関数空間間のマッピングを学習する新しいリカレントニューラル演算子(RNO)を用いて、そのような非定常系の進化を学習する。 本稿では,物理制約から逸脱をモニタリングすることで,チップ点の予測を行う共形予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T05:42:27Z)
• Reaction-diffusive dynamics of number-conserving dissipative quantum state preparation [0.0]
  中間長および時間スケールにおける粒子および孔密度モードの拡散状態の出現を示す。 また,このモードの拡散挙動を最長及び時間スケールで制限するプロセスも同定する。 興味深いことに、これらの過程はフィッシャー=コルモゴロフ=ペトロフスキー=ピスクノフ方程式によって支配される反応拡散力学に繋がる。
  論文  参考訳（メタデータ） (2023-01-12T19:11:04Z)
• Limitations of Quantum Measurements and Operations of Scattering Type under the Energy Conservation Law [0.0]
  本研究は, 保存法により, 達成可能な測定精度とユニタリ操作の精度が制限されていることを示す。 エネルギー保存則を満たす散乱過程を用いた量子測定の誤差に対する下界について述べる。 また、制御されたユニタリゲートのゲート忠実度の上界と系のエネルギー変動との関係を定量的に示す。
  論文  参考訳（メタデータ） (2022-11-24T06:28:57Z)
• Support Vectors and Gradient Dynamics for Implicit Bias in ReLU Networks [45.886537625951256]
  単一ニューロンReLUネットワークのトレーニングにおけるパラメータ空間の勾配流れのダイナミクスについて検討する。 具体的には、ReLUネットワークにおいて、なぜ、どのようにしてReLUネットワークが一般化されるかにおいて重要な役割を果たすサポートベクトルの観点で、暗黙のバイアスを発見できる。
  論文  参考訳（メタデータ） (2022-02-11T08:55:58Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Statistical Mechanics of Floquet Quantum Matter: Exact and Emergent Conservation Laws [0.0]
  最近では、自然保護法則の存在により、統計力学がよりリッチな構造を持つことが示されている。 本総説は, これらの展開を理論的に概観するものである。
  論文  参考訳（メタデータ） (2021-05-21T16:50:49Z)
• Value Iteration in Continuous Actions, States and Time [99.00362538261972]
  連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。 非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。 物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
  論文  参考訳（メタデータ） (2021-05-10T21:40:56Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。