論文の概要: Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

• arxiv url: http://arxiv.org/abs/2609.27581v1
• Date: Wed, 23 Sep 2026 09:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.961865
• Title: Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
• Title（参考訳）: ステップ法は小規模言語モデルに移行するのか? 59Mパラメータ以下の経験的再検討
• Abstract要約: ステップ法則は、事前学習言語モデルにおいて、最適ピーク学習率 eta* とバッチサイズ B* の正則式を与える。 59M と 1B のパラメータのモデルで校正され、N 59M は著者によって実験的な試験は行われなかった。 ステップ法則が小言語モデルに移行するかどうかを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Step Law gives power-law formulas for the optimal peak learning rate eta* and batch size B* when pre-training language models. It was calibrated on models between 59M and 1B parameters; the small-model regime N < 59M was never tested empirically by its authors. This regime matters for single-GPU training, interpretability research, educational experiments, and settings where larger models are infeasible on memory or cost grounds. We test whether Step Law transfers to small language models. We consider three outcomes: H1, the original coefficients work directly; H2, the power-law form holds but with different coefficients; and H3, a power law does not describe the optima in this regime. All experiments use a single nanoGPT/TinyStories pipeline with a 2048-token BPE vocabulary, AdamW, and a warmup-cosine schedule. The optimum for each (N, D) cell is extracted from the loss surface L(eta, B) via a local quadratic approximation in log-log coordinates over the smoothed training loss. The final dataset contains 29 unique (N, D) cells and 935 analysis-ready runs. The main refit uses 25 cells (815 runs) in the working range 4 <= D/N <= 600. On the pooled data we accept H2: the functional form is preserved, but the coefficients differ from the original. We obtain eta*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834) and B*(D) = 3.6 x 10^(-4) D^(0.931) (R^2 = 0.950). Step Law's structural claim that B* is independent of N is reproduced (p = 0.87), but the growth of B* with D is nearly twice as steep as in the original work. Direct transfer of Step Law systematically overestimates the optimal learning rate: the median ratio eta_SL / eta* is approximately 4.0x, with a range of 2.4x to 6.6x.
• Abstract（参考訳）: ステップ法則は、事前学習言語モデルにおいて、最適ピーク学習率 eta* とバッチサイズ B* の正則式を与える。 59M と 1B のパラメータのモデルで校正され、N < 59M は著者によって実験的な試験は行われなかった。 この体制は、シングルGPUトレーニング、解釈可能性の研究、教育実験、より大きなモデルがメモリやコスト面で実現不可能な設定において重要である。 ステップ法則が小言語モデルに移行するかどうかを検証する。 我々は3つの結果を考える: H1, 元の係数は直接作用する; H2, パワー・ロー形式は、異なる係数を持つが、H3, パワー法則は、この状態におけるオプティマを記述しない。 すべての実験では、1つのナノGPT/TinyStoriesパイプラインを使用しており、2048年のBPE語彙、AdamW、ウォームアップ・コサインのスケジュールがある。 各(N,D)セルの最適化は、スムーズなトレーニング損失に対するログ座標の局所二次近似を介して損失面L(eta,B)から抽出される。 最終データセットには29のユニークな(N, D)セルと935の解析対応実行が含まれている。 メインリフィットは、作業範囲4 <= D/N <= 600 の25セル(815ラン)を使用する。 プール化されたデータでは、H2 を受け取り、関数形式は保存されるが、係数は元のものと異なる。 eta*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834) および B*(D) = 3.6 x 10^(-4) D^(0.931) (R^2 = 0.950) を得る。 ステップ・ロー(Step Law)は、B* が N から独立であるという構造的主張(p = 0.87)は再現されるが、D との B* の成長は元の作業の約2倍の急勾配である。 Step Lawの直接転送は、最適学習率を体系的に過大評価する: eta_SL / eta* の中央値は、2.4xから6.6xである。

関連論文リスト

• No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training [0.0]
  GaLoreのようなメモリ効率は、ランク-r部分空間に勾配を投影することで、大きな言語モデルを訓練する。 私たちは、小さな再現可能なコアを超えて、そのようなオブジェクトは存在しないことを示します。
  論文  参考訳（メタデータ） (2026-07-07T06:06:04Z)
• PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation [17.919178151901573]
  大規模言語モデルに対する標準オンライン蒸留 (OPD) は, 実際に厳しい訓練病理に苦しむことを示す。 PowerOPD は、Alpha > 0 でパラメータ化された Box-Cox 電力変換の符号一貫性の報酬であり、対数比は退化 α -> 0 の極限である。 ベンチマーク平均のAvg@8/Pass@8はバニラPDで+6.37/+5.71、ポストホック安定化で+3.01/+3.54、フルボキャブラリPDで+2.59/+8.90となる。
  論文  参考訳（メタデータ） (2026-06-15T18:37:51Z)
• Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications [0.0]
  決定論的方程式発見基板における成長ダイナミクスについて検討する。 短距離基板サイズは、tbに比例するパワーローN(t)に適合する。 飽和パワーロー dN/dt = K Nk exp(-mu N) で、純粋なパワーローが短距離近似である。
  論文  参考訳（メタデータ） (2026-05-14T21:37:29Z)
• On the Entropy Calibration of Language Models [52.47557449370603]
  本研究では,言語モデルのエントロピーが人間のテキスト上でのログ損失と一致しているかを問うエントロピーキャリブレーションの問題について検討する。 観測されたスケーリングの挙動は、単純化された設定によって予測されるものと類似していることがわかった。 将来的なテキストのエントロピーを予測するために,モデルに適合するブラックボックスへのアクセスを前提にすれば,それが可能であることが証明できる。
  論文  参考訳（メタデータ） (2025-11-15T00:33:03Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training [3.0287126536086517]
  モデルサイズN,データセットサイズD,バッチサイズBをスケールするHPのスケーリング法則について検討した。 N,Dスケールとして、最適時間スケールはトークン毎パラメータ比D/Nの正確なパワー則に従うことを示す。 以前の研究とは対照的に、Bpt と Bcrit のスケールは、モデルサイズ N とは独立に、D の力の法則として見なされる。
  論文  参考訳（メタデータ） (2025-05-19T21:27:33Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。