論文の概要: On the fast convergence of minibatch heavy ball momentum

• arxiv url: http://arxiv.org/abs/2206.07553v4
• Date: Wed, 13 Dec 2023 01:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:29:22.770480
• Title: On the fast convergence of minibatch heavy ball momentum
• Title（参考訳）: ミニバッチ重球運動量の高速収束について
• Authors: Raghu Bollapragada, Tyler Chen, Rachel Ward
• Abstract要約: 重球運動量は最適化問題に対する(決定論的)重球運動量の高速線形速度を保っていることを示す。 このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。
• 参考スコア（独自算出の注目度）: 6.154018226934517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simple stochastic momentum methods are widely used in machine learning optimization, but their good practical performance is at odds with an absence of theoretical guarantees of acceleration in the literature. In this work, we aim to close the gap between theory and practice by showing that stochastic heavy ball momentum retains the fast linear rate of (deterministic) heavy ball momentum on quadratic optimization problems, at least when minibatching with a sufficiently large batch size. The algorithm we study can be interpreted as an accelerated randomized Kaczmarz algorithm with minibatching and heavy ball momentum. The analysis relies on carefully decomposing the momentum transition matrix, and using new spectral norm concentration bounds for products of independent random matrices. We provide numerical illustrations demonstrating that our bounds are reasonably sharp.
• Abstract（参考訳）: 単純な確率運動量法は機械学習の最適化に広く用いられているが、その優れた実用性能は、文学における加速の理論的保証がないことと相反する。 本研究は,2次最適化問題において,確率重球運動量が(決定論的)重球運動量の高速線形速度を保っていることを示すことにより,理論と実践のギャップを埋めることを目的としている。 このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。 この分析は運動量遷移行列を慎重に分解し、独立なランダム行列の積に対して新しいスペクトルノルム濃度境界を用いる。 境界が合理的に鋭いことを示す数値図面を提供する。

関連論文リスト

• Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise [16.12834917344859]
  重球運動量法は加速収束を提供し、大きなバッチ設定でうまく機能するはずだと広く推測されている。 重球運動量は, SGDの偏差項の加速収束率を$tildemathcalO(sqrtkappa)$で達成し, ほぼ最適収束率を達成できることを示した。 つまり、重い球運動量を持つSGDは、分散機械学習やフェデレーション学習のような大規模なバッチ設定で有用である。
  論文  参考訳（メタデータ） (2023-12-22T09:58:39Z)
• The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
  モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。 実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T21:01:26Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
  近年,運動量に基づくアルゴリズムが特に普及している。 本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。 我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Last-iterate convergence analysis of stochastic momentum methods for neural networks [3.57214198937538]
  運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。 人工環境下での運動量測定法の電流収束結果 運動量係数は、既存の時間よりも定数に固定することができる。
  論文  参考訳（メタデータ） (2022-05-30T02:17:44Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Fast and differentiable simulation of driven quantum systems [58.720142291102135]
  我々は、ダイソン展開に基づく半解析手法を導入し、標準数値法よりもはるかに高速に駆動量子系を時間発展させることができる。 回路QEDアーキテクチャにおけるトランスモン量子ビットを用いた2量子ゲートの最適化結果を示す。
  論文  参考訳（メタデータ） (2020-12-16T21:43:38Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。