論文の概要: Convergence of Momentum-Based Optimization Algorithms with Time-Varying Parameters

• arxiv url: http://arxiv.org/abs/2506.11904v1
• Date: Fri, 13 Jun 2025 15:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.866191
• Title: Convergence of Momentum-Based Optimization Algorithms with Time-Varying Parameters
• Title（参考訳）: 時間変化パラメータを用いたモーメントベース最適化アルゴリズムの収束性
• Authors: Mathukumalli Vidyasagar,
• Abstract要約: モーメント項を用いた最適化のための統一アルゴリズムを提案する。 勾配は、対象関数の現在の真の勾配だけでなく、前の反復における真の勾配にも依存する。
• 参考スコア（独自算出の注目度）: 0.7614628596146599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a unified algorithm for stochastic optimization that makes use of a "momentum" term; in other words, the stochastic gradient depends not only on the current true gradient of the objective function, but also on the true gradient at the previous iteration. Our formulation includes the Stochastic Heavy Ball (SHB) and the Stochastic Nesterov Accelerated Gradient (SNAG) algorithms as special cases. In addition, in our formulation, the momentum term is allowed to vary as a function of time (i.e., the iteration counter). The assumptions on the stochastic gradient are the most general in the literature, in that it can be biased, and have a conditional variance that grows in an unbounded fashion as a function of time. This last feature is crucial in order to make the theory applicable to "zero-order" methods, where the gradient is estimated using just two function evaluations. We present a set of sufficient conditions for the convergence of the unified algorithm. These conditions are natural generalizations of the familiar Robbins-Monro and Kiefer-Wolfowitz-Blum conditions for standard stochastic gradient descent. We also analyze another method from the literature for the SHB algorithm with a time-varying momentum parameter, and show that it is impracticable.
• Abstract（参考訳）: 言い換えれば、確率勾配は対象関数の現在の真の勾配だけでなく、前回の反復における真の勾配にも依存する。 我々の定式化には、特殊ケースとしてStochastic Heavy Ball (SHB) とStochastic Nesterov Accelerated Gradient (SNAG) アルゴリズムが含まれる。 さらに、我々の定式化では、運動量項は時間の関数(つまり反復カウンタ)として変化することが許される。 確率勾配に関する仮定は文献の中で最も一般的であり、偏りがあり、時間関数として非有界な方法で成長する条件分散を持つ。 この最後の特徴は、この理論を2つの関数評価を用いて勾配を推定する「ゼロ階法」法に適用するために重要である。 統一アルゴリズムの収束に十分な条件のセットを提示する。 これらの条件は、標準的な確率勾配降下に対するRobins-MonroとKeefer-Wolfowitz-Blum条件の自然な一般化である。 また、時間変化モーメントパラメータを用いたSHBアルゴリズムの文献から別の手法を解析し、それが実行不可能であることを示す。

関連論文リスト

• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Exponential Concentration in Stochastic Approximation [0.8192907805418583]
  我々は,各ステップで目標に向かって反復的に進行する近似アルゴリズムの挙動を解析する。 我々はマルコフ近似アルゴリズム、具体的には射影勾配 Descent, Kiefer-Wolfowitz および Frank-Wolfe アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2022-08-15T14:57:26Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• A Two-Time-Scale Stochastic Optimization Framework with Applications in Control and Reinforcement Learning [13.908826484332282]
  最適化問題の解法として,新しい2段階勾配法を提案する。 最初の貢献は、提案した2時間スケール勾配アルゴリズムの有限時間複雑性を特徴づけることである。 我々は、強化学習における勾配に基づく政策評価アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2021-09-29T23:15:23Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Asymptotic Analysis of Conditioned Stochastic Gradient Descent [0.0]
  本研究では、勾配方向の事前条件付けに基づいて、条件付きSGDと呼ばれる勾配降下法(SGD)アルゴリズムのクラスについて検討する。 ほぼ確実に、独立した関心を持つかもしれない収束結果が提示される。
  論文  参考訳（メタデータ） (2020-06-04T10:08:05Z)
• Bounding the expected run-time of nonconvex optimization with early stopping [2.7648976108201815]
  本研究は,検証関数に基づく早期停止を用いた勾配に基づく最適化アルゴリズムの収束性について検討する。 我々は、この停止規則が適切に定義されていることを保証する条件を導出し、この基準を満たすのに必要なイテレーション数と勾配評価の期待値のバウンダリを提供する。
  論文  参考訳（メタデータ） (2020-02-20T16:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。