論文の概要: Understanding the Impact of Model Incoherence on Convergence of Incremental SGD with Random Reshuffle

• arxiv url: http://arxiv.org/abs/2007.03509v1
• Date: Tue, 7 Jul 2020 14:44:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:36:01.992212
• Title: Understanding the Impact of Model Incoherence on Convergence of Incremental SGD with Random Reshuffle
• Title（参考訳）: ランダムリシャッフルインクリメンタルSGDの収束性に及ぼすモデル不整合の影響の理解
• Authors: Shaocong Ma, Yi Zhou
• Abstract要約: モデル特性の多様性を特徴付けるためのモデル不整合を導入し、ランダムリシャッフルによるSGDの収束への影響について検討する。 モデルアンコヒーレンスにより,SGDはランダムサンプリングよりも高速な収束率と,ランダム再シャッフル下での収束誤差が小さいことを示す。
• 参考スコア（独自算出の注目度）: 13.668184769876543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although SGD with random reshuffle has been widely-used in machine learning applications, there is a limited understanding of how model characteristics affect the convergence of the algorithm. In this work, we introduce model incoherence to characterize the diversity of model characteristics and study its impact on convergence of SGD with random reshuffle under weak strong convexity. Specifically, minimizer incoherence measures the discrepancy between the global minimizers of a sample loss and those of the total loss and affects the convergence error of SGD with random reshuffle. In particular, we show that the variable sequence generated by SGD with random reshuffle converges to a certain global minimizer of the total loss under full minimizer coherence. The other curvature incoherence measures the quality of condition numbers of the sample losses and determines the convergence rate of SGD. With model incoherence, our results show that SGD has a faster convergence rate and smaller convergence error under random reshuffle than those under random sampling, and hence provide justifications to the superior practical performance of SGD with random reshuffle.
• Abstract（参考訳）: ランダムリシャッフルのSGDは機械学習アプリケーションで広く使われているが、モデル特性がアルゴリズムの収束にどう影響するかは限定的に理解されている。 本研究では, モデル特性の多様性を特徴付けるモデル不整合を導入し, 弱い凸下でのランダムリシャッフルによるSGDの収束への影響について検討する。 具体的には, サンプル損失の最小値と全損失の最小値との差を測定し, ランダムリシャッフルによるSGDの収束誤差に影響を与える。 特に,ランダム再シャッフルを伴うsgdによって生成される変数列は,完全最小コヒーレンスの下で全損失の一定の大域的最小値に収束することを示す。 他の曲率不整合は、サンプル損失の条件数の品質を測定し、SGDの収束率を決定する。 モデルアンコヒーレンスにより,SGDはランダム再シャッフルにおいてより高速な収束率と,ランダム再シャッフル下での収束誤差を小さくし,ランダム再シャッフルによるSGDの性能向上を正当化することを示した。

関連論文リスト

• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Non Asymptotic Bounds for Optimization via Online Multiplicative Stochastic Gradient Descent [0.0]
  グラディエントDescent(SGD)の勾配雑音は,その特性において重要な役割を担っていると考えられている。 ミニバッチによるSGDの平均と共分散構造を持つ雑音クラスは、同様の特性を持つことを示す。 また,M-SGDアルゴリズムの強い凸状態における収束の限界を定めている。
  論文  参考訳（メタデータ） (2021-12-14T02:25:43Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Linearly Converging Error Compensated SGD [11.436753102510647]
  本稿では、任意の圧縮と遅延更新を伴う分散SGDの変種を統一的に解析する。 我々のフレームワークは、量子化されたSGD、ErrorCompensated SGD、SGDの様々な変種をカバーするのに十分である。 我々は、分散還元や任意のサンプリングと誤りフィードバックと量子化を組み合わせたSGDの新しい変種を開発する。
  論文  参考訳（メタデータ） (2020-10-23T10:46:31Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。