論文の概要: SMG: A Shuffling Gradient-Based Method with Momentum

• arxiv url: http://arxiv.org/abs/2011.11884v3
• Date: Wed, 9 Jun 2021 13:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:53:28.579898
• Title: SMG: A Shuffling Gradient-Based Method with Momentum
• Title（参考訳）: SMG: Momentum を用いたシャッフル勾配法
• Authors: Trang H. Tran, Lam M. Nguyen, Quoc Tran-Dinh
• Abstract要約: 機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。 我々はシャッフルに基づく新しいモーメント技術を開発した。 私たちのテストでは、新しいアルゴリズムの性能が向上しました。
• 参考スコア（独自算出の注目度）: 25.389545522794172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We combine two advanced ideas widely used in optimization for machine learning: shuffling strategy and momentum technique to develop a novel shuffling gradient-based method with momentum, coined Shuffling Momentum Gradient (SMG), for non-convex finite-sum optimization problems. While our method is inspired by momentum techniques, its update is fundamentally different from existing momentum-based methods. We establish state-of-the-art convergence rates of SMG for any shuffling strategy using either constant or diminishing learning rate under standard assumptions (i.e.$L$-smoothness and bounded variance). When the shuffling strategy is fixed, we develop another new algorithm that is similar to existing momentum methods, and prove the same convergence rates for this algorithm under the $L$-smoothness and bounded gradient assumptions. We demonstrate our algorithms via numerical simulations on standard datasets and compare them with existing shuffling methods. Our tests have shown encouraging performance of the new algorithms.
• Abstract（参考訳）: 非凸有限サム最適化問題に対してShuffling Momentum Gradient (SMG) と呼ばれる運動量を持つ新しいシャッフル勾配法を開発するためのシャッフル戦略とモーメント技術という,機械学習の最適化に広く用いられている2つの先進的なアイデアを組み合わせる。 本手法は運動量法にインスパイアされたものの,既存の運動量法とは根本的に異なる。 我々は、標準仮定(すなわち、L$-smoothness とbounded variance)の下で、一定または減少する学習率を用いてシャッフル戦略のSMGの最先端収束率を確立する。 シャッフル戦略が固定された場合、既存の運動量法に類似した別のアルゴリズムを開発し、このアルゴリズムに対して$L$-smoothnessと有界勾配仮定の下で同じ収束率を示す。 標準データセットの数値シミュレーションを用いてアルゴリズムを実証し,既存のシャッフル法と比較する。 私たちのテストでは、新しいアルゴリズムの性能が向上しました。

関連論文リスト

• Shuffling Momentum Gradient Algorithm for Convex Optimization [22.58278411628813]
  TheTranart Gradient Descent method (SGD)とその変種は、機械学習やデータサイエンスから有限サム最適化問題を解く方法として選択されている。 本稿では,シャッフル運動量に基づく強設定法の最初の解析を行う。
  論文  参考訳（メタデータ） (2024-03-05T18:19:02Z)
• Modified Gauss-Newton Algorithms under Noise [2.0454959820861727]
  Gauss-Newton や proxlinear のアルゴリズムは、大規模な統計的設定における勾配降下と比較して、対照的な結果をもたらす可能性がある。 本稿では, この2種類のアルゴリズムの対比性能を, 統計的手法を用いて理論的に検証し, 構造化予測を含む学習問題について実験的に検討する。
  論文  参考訳（メタデータ） (2023-05-18T01:10:42Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• Bregman Gradient Policy Optimization [97.73041344738117]
  本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
  論文  参考訳（メタデータ） (2021-06-23T01:08:54Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• Differentially Private Accelerated Optimization Algorithms [0.7874708385247353]
  微分プライベート最適化アルゴリズムの2つのクラスを示す。 最初のアルゴリズムはPolyakのヘビーボール法にインスパイアされている。 アルゴリズムの第2のクラスは、ネステロフの加速勾配法に基づいている。
  論文  参考訳（メタデータ） (2020-08-05T08:23:01Z)
• Momentum-Based Policy Gradient Methods [133.53164856723782]
  モデルフリー強化学習のための効率的なモーメントに基づくポリシー勾配手法のクラスを提案する。 特に,IS-MBPG法の適応的でないバージョンを提示するが,これは大きなバッチを伴わずに$O(epsilon-3)$と最もよく知られたサンプルの複雑さに達する。
  論文  参考訳（メタデータ） (2020-07-13T20:44:15Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。