論文の概要: Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods

• arxiv url: http://arxiv.org/abs/2606.19179v1
• Date: Wed, 17 Jun 2026 15:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.236598
• Title: Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
• Title（参考訳）: 確率的モーメント法における計算効率とシリアルランタイムトレードオフ
• Authors: Depen Morwani, Alexandru Meterez, Pranav Nair, Sham Kakade,
• Abstract要約: 本研究では,重ボール (HB), ネステロフ運動量, 加速度SGD (ASGD) の変種について一貫した線形回帰について検討した。 ASGDは、急速に減衰するパワーロースペクトルに対して、HB/SGDよりも小さなバッチCEを改善するが、バッチサイズが大きくなるにつれて、シリアルランタイムの改善のためにこのCEの利点を交換する。
• 参考スコア（独自算出の注目度）: 45.559139180129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic momentum methods such as heavy ball (HB), Nesterov momentum, and variants of Accelerated SGD (ASGD) [Kidambi et al., 2018] are widely used in modern training, but their stochastic benefits depend on two distinct quantities: serial runtime, the number of iterations needed to reach a target accuracy, and compute efficiency (CE), the inverse total gradient-query or FLOP cost. Larger batches reduce serial runtime without hurting CE only when the contraction gap grows linearly with batch size. We study stochastic HB and ASGD for consistent linear regression with Gaussian covariates and prove finite-dimensional, discrete-time lower bounds on their batch-size tradeoffs. Our first result shows that HB does not improve the CE frontier over SGD for arbitrary spectra; rather, it preserves SGD-level CE over a larger batch-size window, allowing larger batches to reduce serial runtime until HB reaches its deterministic accelerated scale. This window can be a factor $\sqrtκ$ larger than the SGD critical batch size. For ASGD, the picture is more spectrum-dependent: for rapidly decaying power-law spectra, ASGD improves small-batch CE over HB/SGD, but as batch size grows it trades this CE advantage for improved serial runtime. Synthetic linear-regression experiments verify these qualitative regimes, including near-overlap of ASGD and HB for slowly decaying spectra and the predicted CE--serial tradeoff for rapidly decaying spectra.
• Abstract（参考訳）: ヘビーボール (HB) やネステロフ運動量、加速SGD (ASGD) の変種 (Kidambi et al , 2018) などの確率的運動量法は、現代の訓練で広く用いられているが、それらの確率的利点はシリアルランタイム、目標精度に到達するのに必要なイテレーション数、計算効率 (CE) 、逆全勾配クエリーまたはFLOPコストの2つの異なる量に依存する。 より大きなバッチは、バッチサイズとともに収縮ギャップが線形に大きくなる場合にのみ、CEを損なうことなくシリアルランタイムを減少させる。 確率的HBとASGDをガウス共変量と一貫した線形回帰に対して検討し、バッチサイズのトレードオフに対して有限次元の離散時間下界を証明した。 最初の結果は、HBは任意のスペクトルに対してSGDよりもCEフロンティアを改善せず、より大きなバッチサイズウィンドウ上でSGDレベルのCEを保存し、HBが決定論的加速スケールに達するまで、より大きなバッチがシリアルランタイムを削減できることを示している。 このウィンドウは、SGDクリティカルバッチサイズよりも大きい$\sqrtκ$の要素になる。 ASGDは、急速に減衰するパワーロースペクトルに対して、HB/SGDよりも小さなバッチCEを改善するが、バッチサイズが大きくなるにつれて、シリアルランタイムの改善のためにこのCEの利点を交換する。 合成線形回帰実験は、ゆっくり崩壊するスペクトルに対するASGDとHBのほぼオーバーラップや、急速に崩壊するスペクトルに対するCE-シリアルトレードオフを含む、これらの定性的状態を検証する。

関連論文リスト

• Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
  トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。 この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。 標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
  論文  参考訳（メタデータ） (2025-10-16T14:17:38Z)
• Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum [7.2620484413601325]
  運動量による勾配降下(SGDM)は理論と実践の両方でよく研究されている。 理論的には、一定のバッチサイズを用いることで、ディープニューラルネットワークのトレーニングにおける経験的損失のノルムの期待を最小化できるとは限らない。 また, バッチサイズが増大するミニバッチSGDMは, 一定のバッチサイズよりも高速に定常点に収束することを示す。
  論文  参考訳（メタデータ） (2025-01-15T15:53:27Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• On the Optimal Batch Size for Byzantine-Robust Distributed Learning [25.642765724151833]
  Byzantine-Robust Distributed Learning (BRDL)では、コンピュータ装置が異常な故障や悪意のある攻撃のために異常に振る舞う可能性がある。 既存のBRDL法は、計算のばらつきが大きいため、モデルの精度が大幅に低下する。 正規化運動量を持つByzantine-Robust勾配勾配勾配法という新しいBRDL法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T09:23:47Z)
• Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions [2.575030923243061]
  SGD+M の力学は次元が増加するにつれて決定論的離散ボルテラ方程式に収束することを示す。 ICRよりも小さなバッチサイズの場合、SGD+Mは単一のバッチSGDレートの倍のスケールを持つ。
  論文  参考訳（メタデータ） (2022-06-02T13:03:14Z)
• Stochastic Reweighted Gradient Descent [4.355567556995855]
  SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。 我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。 我々はこの発見を裏付ける実験結果を示す。
  論文  参考訳（メタデータ） (2021-03-23T04:09:43Z)
• Momentum Improves Normalized SGD [51.27183254738711]
  モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。 本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-09T07:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。