論文の概要: A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus

• arxiv url: http://arxiv.org/abs/2610.18739v1
• Date: Tue, 13 Oct 2026 17:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.689823
• Title: A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
• Title（参考訳）: 速度伝達法:確率計算による確率勾配の収束速度
• Abstract要約: 我々は、関連する微分方程式の有限時間リアプノフ推定を勾配アルゴリズムの有限時間収束境界に変換する方法を開発した。 一般化モーメントと滑らかさ条件の下では、勾配法の収束解析は SDE に対するリャプノフの不等式を検証する計算論に還元される。
• 参考スコア（独自算出の注目度）: 1.2437226707039448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a rate-transfer method that converts finite-time Lyapunov estimates for an associated stochastic differential equation (SDE) into finite-time convergence bounds for stochastic gradient algorithms. Under generic moment and smoothness conditions, the convergence analysis of the stochastic gradient method reduces to a calculus argument verifying a Lyapunov generator inequality for the SDE. The method recovers established rates for classical stochastic gradient methods and provides a way to establish convergence rates for new optimization algorithms through calculus arguments applied to their associated SDEs.
• Abstract（参考訳）: 本研究では,関連する確率微分方程式(SDE)の有限時間リアプノフ推定を,確率勾配アルゴリズムの有限時間収束境界に変換する速度変換法を開発した。 一般モーメントと滑らかさ条件の下では、確率勾配法の収束解析は、SDE に対するリアプノフ生成の不等式を検証する計算引数に還元される。 この手法は,古典確率勾配法の確立された速度を回復し,関連するSDEに適用される計算引数を用いて,新しい最適化アルゴリズムの収束率を確立する方法を提供する。

関連論文リスト

• Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
  一般最適化法の力学を近似した微分方程式のクラスを提案する。 座標降下の場合の修正方程式の安定性について検討する。
  論文  参考訳（メタデータ） (2023-09-05T09:39:56Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations [1.116812194101501]
  非線形散逸SDEに対する前方伝播アルゴリズムの収束性について検討する。 偏微分方程式(PDE)の解に、最も急降下方向のアルゴリズムのゆらぎの期待時間積分の限界を証明した。 本研究の主な成果は,非線形散逸SDEに対する前方伝播アルゴリズムの収束定理である。
  論文  参考訳（メタデータ） (2022-07-10T16:06:42Z)
• Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations [7.65995376636176]
  定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。 線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T11:45:22Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Scalable Gradients for Stochastic Differential Equations [40.70998833051251]
  随伴感度法は 通常の微分方程式の勾配を 我々はこの手法を微分方程式に一般化し、時間効率と定数メモリ計算を可能にする。 提案手法は,ネットワークによって定義されたニューラルダイナミクスに適合し,50次元モーションキャプチャーデータセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2020-01-05T23:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。