論文の概要: When Do Larger Batches Help Scale LLM Reinforcement Learning?
- arxiv url: http://arxiv.org/abs/2608.29296v1
- Date: Sat, 29 Aug 2026 14:32:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.91781
- Title: When Do Larger Batches Help Scale LLM Reinforcement Learning?
- Title（参考訳）: 大規模バッチはLLM強化学習に役立つのか?
- Abstract要約: 大規模言語モデルの強化学習におけるトレードオフについて検討する。
より大規模なバッチは、固定ハードウェア上での生成スループットを最大2.29倍向上させる。
- 参考スコア（独自算出の注目度）: 13.656143976571007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Larger batches reduce the variance of stochastic gradients per update and are therefore often expected to accelerate training. Yet whether this statistical benefit translates into lower wall-clock time-to-target remains unclear, because each update consumes more samples and may take longer to execute. We study this tradeoff in reinforcement learning for large language models. We separate its algorithmic and systems effects by comparing learning and execution along their natural axes. At the algorithmic level, we compare configurations at equal cumulative sample counts while retuning batch-dependent hyperparameters. Over a bounded range of batch sizes, this procedure yields an approximately batch-size-invariant family whose members follow similar sample-indexed learning trajectories. At the systems level, we exploit the computational asymmetry between rollout generation and training: autoregressive generation is often memory-bandwidth-bound at low concurrency, whereas training work scales approximately with the number of processed tokens. Combining these two views yields a direct decision rule: a larger-batch configuration reduces time-to-target only when its throughput gain exceeds its samples-to-target penalty. Experiments with GRPO and PPO support both sides of this decomposition. At the algorithmic level, square-root learning-rate scaling with Adam produces approximately batch-size-invariant learning curves over a bounded range of batch sizes. At the systems level, larger batches improve generation throughput by up to 2.29x on fixed hardware. In GRPO, combining higher throughput with learning-rate retuning reduces time-to-target by up to 29%, whereas increasing the batch without retuning is slower despite its higher throughput.
- Abstract（参考訳）: より大規模なバッチは、更新毎に確率勾配のばらつきを減少させるため、トレーニングを加速することがしばしば期待される。
しかし、この統計上の利点が低いウォールクロック時間に変換されるかどうかは、各更新がより多くのサンプルを消費し、実行に時間がかかる可能性があるため、まだ不明である。
大規模言語モデルの強化学習におけるこのトレードオフについて検討する。
学習と実行を自然軸に沿って比較することで,アルゴリズムとシステムの効果を分離する。
アルゴリズムレベルでは、バッチ依存のハイパーパラメータを再調整しながら、同じ累積サンプル数で構成を比較する。
バッチサイズの境界範囲を超えて、この手順は、メンバーが類似のサンプルインデックス付き学習軌跡に従う、およそバッチサイズ不変のファミリーを生成する。
システムレベルでは、ロールアウト生成とトレーニングの間の計算的非対称性を利用する: 自己回帰生成は低並行性ではメモリ帯域幅バインドされることが多いが、トレーニング作業は処理されたトークンの数とほぼ一致している。
より大きなバッチ構成は、スループットの上昇がサンプルからターゲットへのペナルティを超えた場合に限り、ターゲットへの時間を削減する。
GRPOとPPOによる実験は、この分解の両側を支えている。
アルゴリズムレベルでは、Adamによる平方根学習率のスケーリングは、境界範囲のバッチサイズに対して、およそバッチサイズ不変の学習曲線を生成する。
システムレベルでは、より大きなバッチは、固定ハードウェア上で生成スループットを最大2.29倍改善する。
GRPOでは、高いスループットと学習速度のリチューニングを組み合わせることで、最大で29%の目標達成時間が短縮される一方、リチューニングなしでのバッチの増加は、高いスループットにもかかわらず遅い。
関連論文リスト
- Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。
この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。
標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
論文 参考訳（メタデータ） (2025-10-16T14:17:38Z) - Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful [69.57125049281993]
この作業は、バッチサイズ1まで、小さなバッチサイズを見直します。
小さいバッチサイズは安定してトレーニングし、より大きなバッチサイズよりもFLOP当たりのパフォーマンスが等しく、あるいは良好であることが分かりました。
論文 参考訳（メタデータ） (2025-07-09T17:57:36Z) - Iteration and Stochastic First-order Oracle Complexities of Stochastic
Gradient Descent using Constant and Decaying Learning Rates [0.8158530638728501]
本研究では,学習速度だけでなく,バッチサイズにも依存していることを示す。
その結果, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。
論文 参考訳（メタデータ） (2024-02-23T14:24:45Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Q-Ensemble for Offline RL: Don't Scale the Ensemble, Scale the Batch
Size [58.762959061522736]
学習速度を適切に調整したミニバッチサイズをスケールすることで、トレーニングプロセスを桁違いに高速化できることを示す。
そこで本研究では,(1)Qアンサンブルの縮小,(2)分配行動の厳格化,(3)収束時間の改善など,ミニバッチサイズを拡大し,学習率を経時的に調整できることを示す。
論文 参考訳（メタデータ） (2022-11-20T21:48:25Z) - Existence and Estimation of Critical Batch Size for Training Generative
Adversarial Networks with Two Time-Scale Update Rule [0.2741266294612775]
これまで、異なる学習率を用いた2つの時間スケール更新ルール(TTUR)が、理論および実際におけるGAN(Generative Adversarial Network)のトレーニングに有用であることが示されてきた。
本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
論文 参考訳（メタデータ） (2022-01-28T08:52:01Z) - Automated Learning Rate Scheduler for Large-batch Training [24.20872850681828]
大規模バッチトレーニングは、ディープラーニングにおける大規模データセットとモデルを活用する上で不可欠である。
小規模なバッチトレーニングと同等のパフォーマンスを達成するために、特別に設計された学習率(LR)スケジュールを必要とすることが多い。
本稿では,ニューラルネットワークのトレーニングに有効なLR自動スケジューリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T05:23:13Z) - AdaScale SGD: A User-Friendly Algorithm for Distributed Training [29.430153773234363]
本研究では,大規模バッチ学習に学習率を確実に適応させるアルゴリズムであるAdaScale SGDを提案する。
勾配の分散に継続的に適応することにより、AdaScaleは幅広いバッチサイズでスピードアップを達成する。
これには、機械翻訳、画像分類、オブジェクト検出、音声認識タスクのためのモデル劣化のない大規模なバッチトレーニングが含まれる。
論文 参考訳（メタデータ） (2020-07-09T23:26:13Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳（メタデータ） (2020-06-15T08:35:15Z) - Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。
本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。
我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
論文 参考訳（メタデータ） (2020-05-21T12:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。