論文の概要: Towards Continuous-Time Approximations for Stochastic Gradient Descent without Replacement

• arxiv url: http://arxiv.org/abs/2512.04703v1
• Date: Thu, 04 Dec 2025 11:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.145211
• Title: Towards Continuous-Time Approximations for Stochastic Gradient Descent without Replacement
• Title（参考訳）: 置換を伴わない確率勾配の連続時間近似に向けて
• Authors: Stefan Perko,
• Abstract要約: 置換のない降下(SGDo)に基づくエポック(epochs)を用いた勾配最適化アルゴリズムは、主に機械学習モデルを実際にトレーニングするために使用される。 我々は「急激なブラウン運動」と呼ばれるプロセスによって駆動されるヤング微分方程式に基づく加法雑音を伴うSGDoの連続時間近似を提案する。 強凸対象に対する連続時間近似のほぼ確実に収束と、(0,1)$で$u_t = frac1(+t)の学習速度スケジュールを証明することによって、その有用性を示す。
• 参考スコア（独自算出の注目度）: 1.7767466724342065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient optimization algorithms using epochs, that is those based on stochastic gradient descent without replacement (SGDo), are predominantly used to train machine learning models in practice. However, the mathematical theory of SGDo and related algorithms remain underexplored compared to their "with replacement" and "one-pass" counterparts. In this article, we propose a stochastic, continuous-time approximation to SGDo with additive noise based on a Young differential equation driven by a stochastic process we call an "epoched Brownian motion". We show its usefulness by proving the almost sure convergence of the continuous-time approximation for strongly convex objectives and learning rate schedules of the form $u_t = \frac{1}{(1+t)^β}, β\in (0,1)$. Moreover, we compute an upper bound on the asymptotic rate of almost sure convergence, which is as good or better than previous results for SGDo.
• Abstract（参考訳）: 置換のない確率勾配勾配(SGDo)に基づくエポックを用いた勾配最適化アルゴリズムは、実際に機械学習モデルをトレーニングするために主に使用される。 しかし、SGDoと関連するアルゴリズムの数学的理論は、その「代替」と「ワンパス」のアルゴリズムと比較してまだ未定のままである。 本稿では、確率過程によって駆動されるヤング微分方程式に基づいて、SGDoに対する確率的連続時間近似を「急激なブラウン運動」と呼ぶ。 強凸対象に対する連続時間近似のほぼ確実に収束と、u_t = \frac{1}{(1+t)^β}, β\in (0,1)$の学習速度スケジュールを証明して有用性を示す。 さらに, ほぼ確実に収束する漸近速度の上限を計算し, 従来のSGDoよりも良いか良いかを示す。

関連論文リスト

• Convergence of Momentum-Based Optimization Algorithms with Time-Varying Parameters [0.0]
  モーメント項を用いた最適化のための統一アルゴリズムを提案する。 勾配は、対象関数の現在の真の勾配だけでなく、前の反復における真の勾配にも依存する。
  論文  参考訳（メタデータ） (2025-06-13T15:53:17Z)
• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Exponential Concentration in Stochastic Approximation [0.8192907805418583]
  我々は,各ステップで目標に向かって反復的に進行する近似アルゴリズムの挙動を解析する。 我々はマルコフ近似アルゴリズム、具体的には射影勾配 Descent, Kiefer-Wolfowitz および Frank-Wolfe アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2022-08-15T14:57:26Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。