論文の概要: A New Accelerated Stochastic Gradient Method with Momentum

• arxiv url: http://arxiv.org/abs/2006.00423v1
• Date: Sun, 31 May 2020 03:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 12:32:06.178502
• Title: A New Accelerated Stochastic Gradient Method with Momentum
• Title（参考訳）: モーメントを用いた新しい高速化確率勾配法
• Authors: Liang Liu and Xiaopeng Luo
• Abstract要約: 運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。 本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
• 参考スコア（独自算出の注目度）: 4.967897656554012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel accelerated stochastic gradient method with momentum, which momentum is the weighted average of previous gradients. The weights decays inverse proportionally with the iteration times. Stochastic gradient descent with momentum (Sgdm) use weights that decays exponentially with the iteration times to generate an momentum term. Using exponentially decaying weights, variants of Sgdm with well designed and complicated formats have been proposed to achieve better performance. The momentum update rules of our method is as simple as that of Sgdm. We provide theoretical convergence properties analyses for our method, which show both the exponentially decay weights and our inverse proportionally decay weights can limit the variance of the moving direction of parameters to be optimized to a region. Experimental results empirically show that our method works well with practical problems and outperforms Sgdm, and it outperforms Adam in convolutional neural networks.
• Abstract（参考訳）: 本稿では,モーメントが過去の勾配の重み付き平均となる運動量を持つ新しい加速度確率勾配法を提案する。 重みは反復時間に比例して崩壊する。 運動量を伴う確率勾配降下(Sgdm)は、繰り返し時間とともに指数関数的に減衰する重みを使って運動量項を生成する。 指数関数的に減衰する重みを用いて、優れた設計と複雑なフォーマットを持つsgdmの変種がより良い性能を達成するために提案されている。 我々の手法のモーメント更新規則はSgdmと同じくらい単純である。 本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。 実験の結果,本手法は実用上の問題にうまく対応し,Sgdmより優れ,畳み込みニューラルネットワークではAdamより優れていた。

関連論文リスト

• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Last-iterate convergence analysis of stochastic momentum methods for neural networks [3.57214198937538]
  運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。 人工環境下での運動量測定法の電流収束結果 運動量係数は、既存の時間よりも定数に固定することができる。
  論文  参考訳（メタデータ） (2022-05-30T02:17:44Z)
• Momentum Doesn't Change the Implicit Bias [36.301490759243876]
  我々は運動量に基づく最適化の暗黙バイアスを分析する。 モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
  論文  参考訳（メタデータ） (2021-10-08T04:37:18Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• Just a Momentum: Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problem [12.132641563193584]
  損失関数が過剰な場合、バニラ勾配に基づく損失法よりも運動量に基づく方法を使うのが一般的である。 実効的なステップボールのダイナミクスは, 質量の増大によって向上し, 上昇することを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:30:57Z)
• SMG: A Shuffling Gradient-Based Method with Momentum [25.389545522794172]
  機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。 我々はシャッフルに基づく新しいモーメント技術を開発した。 私たちのテストでは、新しいアルゴリズムの性能が向上しました。
  論文  参考訳（メタデータ） (2020-11-24T04:12:35Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。