論文の概要: Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions

• arxiv url: http://arxiv.org/abs/2605.28961v1
• Date: Wed, 27 May 2026 18:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.139724
• Title: Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions
• Title（参考訳）: 高次元のスパース更新を伴う確率運動のダイナミクス
• Authors: Katie Everett, Elliot Paquette,
• Abstract要約: 既存の運動量理論は、勾配がほぼ一定の速度で全てのパラメータに到達すると仮定する。 スパース更新下での2つの運動量モデルの運動力学を理論的に解析する。
• 参考スコア（独自算出の注目度）: 5.674162165646654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing theory of momentum assumes that gradients arrive at every parameter at a roughly constant rate, an assumption violated in practice by heavy-tailed data distributions and modern architectures. We theoretically analyze the dynamics of two tractable models of momentum under sparse updates: a least squares model with sparse inputs and a logistic regression model with a rare class. Both admit exact closed-form second-moment dynamics whose high-dimensional limits we characterize across three scaling exponents for sparsity, batch size, and momentum decay. The phase structure on both problems is governed by the ratio of two intrinsic timescales: a momentum retention timescale (how many active updates the buffer survives) and a learning timescale (how many active updates it takes to reduce the squared error). When learning is much slower than retention, the limit matches SGD; when learning is faster, the system is unstable; where the timescales coincide, we recover classical heavy-ball dynamics. The oscillatory dynamics occur at different momentum values for different token sparsity, creating a spectral conflict for global momentum across token frequencies.
• Abstract（参考訳）: 既存の運動量理論は、勾配がほぼ一定の速度で全てのパラメータに到達すると仮定している。 スパース更新における2つのトラクタブルな運動量モデルのダイナミクスを理論的に解析する: スパース入力を持つ最小二乗モデルと稀なクラスを持つロジスティック回帰モデルである。 どちらも、空間性、バッチサイズ、運動量減衰の3つのスケーリング指数にまたがる高次元制限を特徴付ける、正確な閉形式第二モーメントダイナミクスを認めている。 両問題の位相構造は、モーメント保持時間尺度(バッファがどれだけアクティブに更新されたか)と学習時間尺度(二乗誤差を減らすのにどれだけのアクティブな更新が必要か)の2つの固有時間尺度の比率で制御される。 学習が保持よりもはるかに遅い場合、制限はSGDと一致し、学習が速くなるとシステムは不安定になり、時間スケールが一致する場合は、古典的な重ボール力学を回復する。 振動ダイナミクスは異なるトークン間隔の異なる運動量値で発生し、トークン周波数間の大域的な運動量に対するスペクトル衝突を引き起こす。

関連論文リスト

• Transformer Learning of Chaotic Collective Dynamics in Many-Body Systems [0.0]
  本稿では,自己注意に基づくトランスフォーマー・フレームワークが,カオス的集団力学をモデル化するための効果的なアプローチを提供することを示す。 相互作用クエンチが強い非線形およびカオス力学を誘導する一次元半古典的ホルシュタインモデルについて検討する。 本研究は, カオス多体システムにおいて, 効果的還元力学を学習するための強力なメカニズムとして, 自己意識を確立した。
  論文  参考訳（メタデータ） (2026-01-27T01:33:33Z)
• Forecasting Continuous Non-Conservative Dynamical Systems in SO(3) [51.510040541600176]
  コンピュータビジョンにおける移動物体の回転をモデル化するための新しい手法を提案する。 我々のアプローチは、入力ノイズに対して頑健でありながら、エネルギーと運動量保存に非依存である。 トレーニング中の雑音状態から物体のダイナミクスを近似させることで、シミュレーションや様々な現実世界の設定において頑健な外挿能力が得られる。
  論文  参考訳（メタデータ） (2025-08-11T09:03:10Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
  ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。 運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T20:41:48Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Dynamics with autoregressive neural quantum states: application to critical quench dynamics [41.94295877935867]
  本稿では、量子系の長時間のダイナミクスを安定的に捉えるための代替の汎用スキームを提案する。 二次元量子イジングモデルにおけるキブル・ズレーク機構の解明により,時間依存性のクエンチ力学にこのスキームを適用した。
  論文  参考訳（メタデータ） (2022-09-07T15:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。