Fugu-MT 論文翻訳(概要): On the fast convergence of minibatch heavy ball momentum

論文の概要: On the fast convergence of minibatch heavy ball momentum

arxiv url: http://arxiv.org/abs/2206.07553v3
Date: Sat, 10 Jun 2023 18:29:50 GMT
ステータス: 処理完了
システム内更新日: 2023-06-14 02:48:41.131676
Title: On the fast convergence of minibatch heavy ball momentum
Title（参考訳）: ミニバッチ重球運動量の高速収束について
Authors: Raghu Bollapragada, Tyler Chen, Rachel Ward
Abstract要約: 重球運動量は最適化問題に対する(決定論的)重球運動量の高速線形速度を保っていることを示す。このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。
参考スコア（独自算出の注目度）: 6.048126142730406
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Simple stochastic momentum methods are widely used in machine learning optimization, but their good practical performance is at odds with an absence of theoretical guarantees of acceleration in the literature. In this work, we aim to close the gap between theory and practice by showing that stochastic heavy ball momentum retains the fast linear rate of (deterministic) heavy ball momentum on quadratic optimization problems, at least when minibatching with a sufficiently large batch size. The algorithm we study can be interpreted as an accelerated randomized Kaczmarz algorithm with minibatching and heavy ball momentum. The analysis relies on carefully decomposing the momentum transition matrix, and using new spectral norm concentration bounds for products of independent random matrices. We provide numerical illustrations demonstrating that our bounds are reasonably sharp.
Abstract（参考訳）: 単純な確率運動量法は機械学習の最適化に広く用いられているが、その優れた実用性能は、文学における加速の理論的保証がないことと相反する。本研究は,2次最適化問題において,確率重球運動量が(決定論的)重球運動量の高速線形速度を保っていることを示すことにより,理論と実践のギャップを埋めることを目的としている。このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。この分析は運動量遷移行列を慎重に分解し、独立なランダム行列の積に対して新しいスペクトルノルム濃度境界を用いる。境界が合理的に鋭いことを示す数値図面を提供する。

関連論文リスト

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise [16.12834917344859]
重球運動量法は加速収束を提供し、大きなバッチ設定でうまく機能するはずだと広く推測されている。重球運動量は, SGDの偏差項の加速収束率を$tildemathcalO(sqrtkappa)$で達成し, ほぼ最適収束率を達成できることを示した。つまり、重い球運動量を持つSGDは、分散機械学習やフェデレーション学習のような大規模なバッチ設定で有用である。
論文参考訳（メタデータ） (2023-12-22T09:58:39Z)
The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
論文参考訳（メタデータ） (2023-07-27T21:01:26Z)
Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文参考訳（メタデータ） (2023-05-24T20:43:47Z)
PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
論文参考訳（メタデータ） (2023-03-02T05:08:15Z)
Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文参考訳（メタデータ） (2022-10-24T16:54:18Z)
Last-iterate convergence analysis of stochastic momentum methods for neural networks [3.57214198937538]
運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。人工環境下での運動量測定法の電流収束結果運動量係数は、既存の時間よりも定数に固定することができる。
論文参考訳（メタデータ） (2022-05-30T02:17:44Z)
Momentum Doesn't Change the Implicit Bias [36.301490759243876]
我々は運動量に基づく最適化の暗黙バイアスを分析する。モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
論文参考訳（メタデータ） (2021-10-08T04:37:18Z)
Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
本稿では,そのようなモデル平均化手法のモーメント法を提案する。このような運動量法の収束特性とスケーリング特性を解析する。実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
論文参考訳（メタデータ） (2021-10-01T19:23:18Z)
Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文参考訳（メタデータ） (2021-04-27T16:56:09Z)
Fast and differentiable simulation of driven quantum systems [58.720142291102135]
我々は、ダイソン展開に基づく半解析手法を導入し、標準数値法よりもはるかに高速に駆動量子系を時間発展させることができる。回路QEDアーキテクチャにおけるトランスモン量子ビットを用いた2量子ゲートの最適化結果を示す。
論文参考訳（メタデータ） (2020-12-16T21:43:38Z)
Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
論文参考訳（メタデータ） (2020-09-28T15:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。