Fugu-MT 論文翻訳(概要): Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum

論文の概要: Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum

arxiv url: http://arxiv.org/abs/2110.00625v1
Date: Fri, 1 Oct 2021 19:23:18 GMT
ステータス: 処理完了
システム内更新日: 2021-10-05 15:45:44.531040
Title: Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum
Title（参考訳）: モーメントムを用いた非凸最適化のための分散確率 Descent の高速化
Authors: Guojing Cong and Tianyi Liu
Abstract要約: 本稿では,そのようなモデル平均化手法のモーメント法を提案する。このような運動量法の収束特性とスケーリング特性を解析する。実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
参考スコア（独自算出の注目度）: 12.324457683544132
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Momentum method has been used extensively in optimizers for deep learning. Recent studies show that distributed training through K-step averaging has many nice properties. We propose a momentum method for such model averaging approaches. At each individual learner level traditional stochastic gradient is applied. At the meta-level (global learner level), one momentum term is applied and we call it block momentum. We analyze the convergence and scaling properties of such momentum methods. Our experimental results show that block momentum not only accelerates training, but also achieves better results.
Abstract（参考訳）: モーメント法はディープラーニングの最適化に広く使われている。最近の研究では、kステップ平均化による分散トレーニングには多くの優れた特性があることが示されている。このようなモデル平均化手法のモーメント法を提案する。各学習者レベルでは従来の確率勾配を適用する。メタレベル(グローバルラーナーレベル)では、モーメント項が1つ適用され、ブロックモーメントと呼ばれる。このような運動量法の収束とスケーリング特性を解析した。実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。

関連論文リスト

Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文参考訳（メタデータ） (2024-05-03T16:45:15Z)
The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
論文参考訳（メタデータ） (2023-07-27T21:01:26Z)
Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文参考訳（メタデータ） (2022-10-12T09:12:59Z)
Last-iterate convergence analysis of stochastic momentum methods for neural networks [3.57214198937538]
運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。人工環境下での運動量測定法の電流収束結果運動量係数は、既存の時間よりも定数に固定することができる。
論文参考訳（メタデータ） (2022-05-30T02:17:44Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
SMG: A Shuffling Gradient-Based Method with Momentum [25.389545522794172]
機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。我々はシャッフルに基づく新しいモーメント技術を開発した。私たちのテストでは、新しいアルゴリズムの性能が向上しました。
論文参考訳（メタデータ） (2020-11-24T04:12:35Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)
Momentum-Based Policy Gradient Methods [133.53164856723782]
モデルフリー強化学習のための効率的なモーメントに基づくポリシー勾配手法のクラスを提案する。特に,IS-MBPG法の適応的でないバージョンを提示するが,これは大きなバッチを伴わずに$O(epsilon-3)$と最もよく知られたサンプルの複雑さに達する。
論文参考訳（メタデータ） (2020-07-13T20:44:15Z)
A New Accelerated Stochastic Gradient Method with Momentum [4.967897656554012]
運動量(Sgdm)による勾配降下は、繰り返し時間とともに指数関数的に減衰する重みを使い、運動量項を生成する。本研究では,指数関数的減衰重みと逆比例分解重みの両方が領域に最適化されるパラメータの移動方向のばらつきを制限することができる理論収束特性解析を行う。
論文参考訳（メタデータ） (2020-05-31T03:04:32Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Average-case Acceleration Through Spectral Density Estimation [35.01931431231649]
ランダム2次問題の平均ケース解析のためのフレームワークを開発する。この分析で最適なアルゴリズムを導出する。我々は, 均一性, マルテンコ・パストゥル, 指数分布の明示的アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-02-12T01:44:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。