Fugu-MT 論文翻訳(概要): On the Nonlinearity of Learning Rate Scaling for LLM Training

論文の概要: On the Nonlinearity of Learning Rate Scaling for LLM Training

arxiv url: http://arxiv.org/abs/2606.29158v1
Date: Sun, 28 Jun 2026 02:42:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.81566
Title: On the Nonlinearity of Learning Rate Scaling for LLM Training
Title（参考訳）: LLMトレーニングにおける学習速度スケーリングの非線形性について
Abstract要約: 学習速度の転送は、大きな言語モデルをトレーニングするコストを削減できる。既存のアプローチでは、最適な学習速度はデータスケールとモデルサイズにおける対数線形スケーリング則に従うと仮定されることが多い。
参考スコア（独自算出の注目度）: 18.557199144090017
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning-rate transfer can reduce the cost of training large language models: instead of sweeping learning rates at target scale, practitioners extrapolate from smaller runs. Existing approaches often assume that the optimal learning rate follows a log-linear scaling law in data scale and model size. We carefully examine and evaluate this scaling law. In our empirical study of GPT-2--style models from 22M to 707M parameters trained on 5B to 100B tokens, the optimal learning rate develops upward curvature at larger scales, leading to inaccurate extrapolation. We find that this curvature largely disappears when learning rates are replaced by effective learning rate (the step size in normalized weight space), and when data $D$ extrapolation is used instead of model size $N$ extrapolation. Next, we explain nonlinearity in scaling: weight-norm converges to equilibrium slower when optimal learning is small, requiring a larger step size to reduce the transient phase. Experiments with AdamH, which directly controls the effective learning rate, further support this explanation.
Abstract（参考訳）: 学習速度の転送は、大きな言語モデルをトレーニングするコストを削減します。既存のアプローチでは、最適な学習速度はデータスケールとモデルサイズにおける対数線形スケーリング則に従うと仮定されることが多い。我々はこのスケーリング法を慎重に検討し、評価する。 5Bから100Bトークンでトレーニングされた2,200Mから707MパラメータのGPT-2スタイルモデルに関する実証的研究において、最適学習速度はより大規模な上向き曲率を発達させ、不正確な外挿をもたらす。学習率を有効学習率(正規化重み空間のステップサイズ)に置き換えると、この曲率はほとんどなくなり、データ$D$外挿はモデルサイズ$N$外挿に代えて使われる。次に、スケーリングにおける非線形性について説明する: 最適学習が小さい場合、ウェイトノルムは平衡を遅く収束し、過渡位相を小さくするためにより大きなステップサイズを必要とする。効果的な学習率を直接制御するAdamHによる実験は、この説明をさらに支持している。

関連論文リスト

Sketched Linear Contrastive Learning: Approximation, Optimization, and Statistical Scaling [12.993805198900498]
本研究では,2組のガウス潜在変数構成の下で,コントラスト学習のためのスケッチ付き線形モデルについて検討する。我々は、リスク分解を既約リスク、近似誤差、GDバイアス、GD分散、およびクロス項に導出する。標準的な線形回帰スケーリング法則と比較すると、対照的な設定は2つのビュー間の相互作用を学習しなければならない。
論文参考訳（メタデータ） (2026-06-25T05:20:21Z)
Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
論文参考訳（メタデータ） (2025-12-05T11:03:41Z)
Deep Progressive Training: scaling up depth capacity of zero/one-layer models [19.649807308477527]
最適化理論のレンズによる大型モデルの深度展開について検討する。計算と損失の最適トレードオフのためのゼロ/1層プログレッシブトレーニングを提案する。
論文参考訳（メタデータ） (2025-11-07T04:56:45Z)
Scaling with Collapse: Efficient and Predictable Training of LLM Families [8.979516613284174]
崩壊は計算効率のトレーニングのサインとして現れる。計算効率のトレーニングのサインとして崩壊が現れることを示す。大規模に2つの応用を実演する。
論文参考訳（メタデータ） (2025-09-29T17:26:11Z)
Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
オンライン価値ベースディープRLの計算スケーリングについて検討する。解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
論文参考訳（メタデータ） (2025-08-20T17:54:21Z)
AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [59.12061830645018]
より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
論文参考訳（メタデータ） (2024-07-29T17:06:30Z)
Occam Gradient Descent [0.0]
勾配降下と等級プルーニングを結合したアルゴリズムを「Occam Gradient Descent」に提案する。 Occam Gradient Descentで訓練されたニューラルネットワークは、Random Forestsと同様に従来の勾配降下よりも優れている。
論文参考訳（メタデータ） (2024-05-30T15:58:22Z)
Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling [27.058009599819012]
本稿では,Adamスタイルにおける最適学習率とバッチサイズとの関係について検討する。最適学習率が最初に上昇し、バッチサイズが大きくなるにつれて低下することを示す。
論文参考訳（メタデータ） (2024-05-23T13:52:36Z)
A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文参考訳（メタデータ） (2024-02-02T01:41:38Z)
Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文参考訳（メタデータ） (2020-11-04T21:07:52Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。