論文の概要: Effective continuous equations for adaptive SGD: a stochastic analysis view

• arxiv url: http://arxiv.org/abs/2509.21614v1
• Date: Thu, 25 Sep 2025 21:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.031002
• Title: Effective continuous equations for adaptive SGD: a stochastic analysis view
• Title（参考訳）: 適応型SGDのための効果的な連続方程式:確率解析的視点
• Authors: Luca Callisti, Marco Romito, Francesco Triggiano,
• Abstract要約: そこで本研究では, 学習率の小さいシステムにおいて, 適応型グラディエント Descent (SGD) 手法の理論的解析を行った。 我々の重要な貢献は、SGDのサンプリング誘起ノイズが、パラメータ勾配第二運動量進化を駆動する独立ブラウン運動として現れることである。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a theoretical analysis of some popular adaptive Stochastic Gradient Descent (SGD) methods in the small learning rate regime. Using the stochastic modified equations framework introduced by Li et al., we derive effective continuous stochastic dynamics for these methods. Our key contribution is that sampling-induced noise in SGD manifests in the limit as independent Brownian motions driving the parameter and gradient second momentum evolutions. Furthermore, extending the approach of Malladi et al., we investigate scaling rules between the learning rate and key hyperparameters in adaptive methods, characterising all non-trivial limiting dynamics.
• Abstract（参考訳）: そこで本研究では,SGD法とSGD法を併用する手法について理論的解析を行った。 Li らによって導入された確率修正方程式フレームワークを用いて、これらの手法に対して効果的な連続確率力学を導出する。 我々の重要な貢献は、SGDのサンプリング誘起ノイズが、パラメータと勾配第二運動量進化を駆動する独立ブラウン運動として限界に現れることである。 さらに、Malladiらによるアプローチを拡張し、適応的手法における学習率とキーハイパーパラメータ間のスケーリング規則について検討し、非自明な制限力学を特徴付ける。

関連論文リスト

• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Variational Inference for SDEs Driven by Fractional Noise [16.434973057669676]
  マルコフ近似分数的ブラウン運動(fBM)によって駆動される(神経)微分方程式(SDE)の推論を行うための新しい変分フレームワークを提案する。 本稿では, ニューラルネットワークを用いて, 変動後部におけるドリフト, 拡散, 制御条件を学習し, ニューラルSDEの変分学習を実現することを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:21Z)
• Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent [1.2031796234206138]
  そこで我々は,修正フローと呼ばれる小学習率体系における勾配降下に対する新しい制限ダイナミクスを提案する。 これらのSDEは円筒状ブラウン運動によって駆動され、正規拡散係数を持ち、多点統計値に一致することによって、いわゆる修正方程式を改善する。
  論文  参考訳（メタデータ） (2023-02-14T15:33:59Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent [3.0079490585515343]
  勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。 SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
  論文  参考訳（メタデータ） (2020-12-07T12:31:43Z)
• A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces [53.47210316424326]
  KeRNSは、非定常マルコフ決定過程におけるエピソード強化学習のためのアルゴリズムである。 我々は、状態-作用空間の被覆次元と時間とともにMDPの総変動にスケールする後悔境界を証明した。
  論文  参考訳（メタデータ） (2020-07-09T21:37:13Z)
• Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
  ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。 制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。 我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
  論文  参考訳（メタデータ） (2020-07-08T08:43:14Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Stochastic Modified Equations for Continuous Limit of Stochastic ADMM [13.694172299830315]
  我々は、ADMMの異なる変種を統一形式にし、リラクゼーションを伴う標準、線形化、勾配ベースADMMを含み、連続時間モデルアプローチを用いてそれらの力学を研究する。 我々は,ADMMの力学を,弱い近似の意味で小さな雑音パラメータを持つ微分方程式のクラスで近似することを示した。
  論文  参考訳（メタデータ） (2020-03-07T08:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。