論文の概要: Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2412.11341v1
• Date: Sun, 15 Dec 2024 23:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:45.664057
• Title: Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
• Title（参考訳）: 確率勾配Descenceのための結合型収束診断とステップサイズスキーム
• Authors: Xiang Li, Qiaomin Xie,
• Abstract要約: グラディエントDescent (SGD) の収束挙動は, 段差構成に大きく依存する。 本稿では, トランジェンス定常状態からの遷移を理論的に追跡する新しい結合型診断法を提案する。
• 参考スコア（独自算出の注目度）: 9.69064563836298
• License:
• Abstract: The convergence behavior of Stochastic Gradient Descent (SGD) crucially depends on the stepsize configuration. When using a constant stepsize, the SGD iterates form a Markov chain, enjoying fast convergence during the initial transient phase. However, when reaching stationarity, the iterates oscillate around the optimum without making further progress. In this paper, we study the convergence diagnostics for SGD with constant stepsize, aiming to develop an effective dynamic stepsize scheme. We propose a novel coupling-based convergence diagnostic procedure, which monitors the distance of two coupled SGD iterates for stationarity detection. Our diagnostic statistic is simple and is shown to track the transition from transience stationarity theoretically. We conduct extensive numerical experiments and compare our method against various existing approaches. Our proposed coupling-based stepsize scheme is observed to achieve superior performance across a diverse set of convex and non-convex problems. Moreover, our results demonstrate the robustness of our approach to a wide range of hyperparameters.
• Abstract（参考訳）: SGD(Stochastic Gradient Descent)の収束挙動は,ステップサイズ構成に大きく依存する。 定段数を使用するとき、SGD はマルコフ連鎖を反復し、初期過渡期の間は急速に収束する。 しかし、静止状態に達すると、イテレートはそれ以上前進することなく最適方向に振動する。 本稿では,SGDの収束診断を定常的なステップサイズで行うことを目的として,効率的な動的ステップサイズスキームを開発することを目的とした。 本稿では,2つの結合したSGDイテレート間の距離を定常度検出のために監視する結合型収束診断手法を提案する。 我々の診断統計は単純であり、理論的にトランジェンス定常性から遷移を追跡することが示されている。 我々は、広範囲な数値実験を行い、既存の様々な手法と比較する。 提案手法は,多種多様な凸問題と非凸問題にまたがる優れた性能を実現するために提案される。 さらに,本研究の結果は,幅広いハイパーパラメータに対する我々のアプローチの堅牢性を示すものである。

関連論文リスト

• SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates [19.420605210427635]
  SketchySGDは、サブサンプルヘッセンに対するランダム化低ランク近似を用いることで、機械学習の既存の勾配法を改善する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 条件のない設定では、最小二乗問題に対してSketchySGDはSGDよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-11-16T01:05:41Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum [18.88380216480131]
  本稿では,一定の学習率と運動量を有する勾配勾配について考察する。 連続勾配間の内積を用いた定常位相収束の統計的診断試験を構築した。
  論文  参考訳（メタデータ） (2020-08-27T16:24:18Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent [24.042107117994046]
  定常的なステップサイズのグラディエントDescentは2つの位相を示す: 反復する過渡的な位相は最適に向かって急速に進行し、続いて、反復する位相は最適点の周りで振動する。 我々は, この遷移を効率的に検出し, ステップサイズを適切に減少させることで, 収束速度が速くなることを示した。
  論文  参考訳（メタデータ） (2020-07-01T14:58:01Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
  本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。 まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。 連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
  論文  参考訳（メタデータ） (2020-04-08T18:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。