Fugu-MT 論文翻訳(概要): Smooth Scaling Laws Hide Stepwise Token Learning

論文の概要: Smooth Scaling Laws Hide Stepwise Token Learning

arxiv url: http://arxiv.org/abs/2606.29858v1
Date: Mon, 29 Jun 2026 06:53:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.086175
Title: Smooth Scaling Laws Hide Stepwise Token Learning
Title（参考訳）: スムーススケーリング法 - ステップワイドなトークン学習を隠蔽する
Abstract要約: 本稿では,個別の文脈化トークンの局所的な学習イベントにスケール法則を分解するトークンレベルフレームワークを提案する。トークン学習は局所的な遷移に集中しており、スケーリング法則の形状を支配する学習時間スペクトルを生じさせることを示す。
参考スコア（独自算出の注目度）: 8.073384065651098
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language model loss follows remarkably regular scaling laws over model and data size, yet it remains unclear why the aggregate loss should exhibit a power-law form. Existing explanations often attribute this regularity to a heavy-tailed spectrum of pattern difficulty in natural language, but this view has not been directly validated at token-level granularity in large-scale real-data training. We present a token-level framework that decomposes scaling laws into localized learning events of individual contextualized tokens. By fitting token loss trajectories with sigmoids, we show that token learning is concentrated in localized transitions, giving rise to a learning-time spectrum that dominates the scaling-law shape. Across more than one hundred pre-training runs on large and diverse real-language corpora with modern LLM architectures, scaling up to 6B parameters and 300B training tokens, the measured learning-time spectrum quantitatively reconstructs the validation loss derivative along the training-step $T$, data-scale $D$, and model-scale $M$ axes. We further show that the same signal is actionable: by reshaping the training distribution according to when tokens become learnable, we alter the optimization trajectory and achieve 11\% faster validation-loss reduction. These results provide direct empirical evidence that scaling laws are governed primarily by the distribution of token-level learning times, and that this distribution can be used not only to explain scaling behavior but also to improve training performance.
Abstract（参考訳）: 言語モデルの損失は、モデルとデータサイズに対する極めて規則的なスケーリング法則に従っているが、集合的な損失がなぜ非合法な形になるのかは不明だ。既存の説明では、この規則性は自然言語におけるパターンの難易度に重み付けされているが、大規模な実データトレーニングではトークンレベルの粒度で直接検証されていない。本稿では,個別の文脈化トークンの局所的な学習イベントにスケール法則を分解するトークンレベルフレームワークを提案する。トークン損失軌跡をシグモイドに合わせることで、トークン学習が局所的な遷移に集中していることが示され、スケーリング法則の形状を支配する学習時間スペクトルが生まれる。数百以上の事前トレーニングが、現代のLLMアーキテクチャを備えた大規模で多様な実言語コーパス上で実行され、最大6Bパラメータと300Bトレーニングトークンまでスケールアップされ、測定された学習時間スペクトルは、トレーニングステップのT$、データスケールのD$、モデルスケールのM$xに沿って、バリデーション損失デリバティブを定量的に再構成する。さらに、トークンが学習可能になったときにトレーニング分布を変換することで、最適化軌道を変更し、検証・損失削減を11倍高速化する。これらの結果は,スケーリング法則が主にトークンレベルの学習時間の分布に支配されていること,この分布がスケーリングの振る舞いを説明するだけでなく,トレーニング性能を向上させるためにも利用できること,といった直接的な実証的証拠を提供する。

関連論文リスト

PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文参考訳（メタデータ） (2026-06-08T12:14:06Z)
On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
論文参考訳（メタデータ） (2026-03-26T17:37:25Z)
Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文参考訳（メタデータ） (2025-12-29T12:35:51Z)
Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
論文参考訳（メタデータ） (2025-09-23T16:05:16Z)
Implicit bias produces neural scaling laws in learning curves, from perceptrons to deep networks [12.108234998867337]
我々は,異なるノルムベースの複雑性尺度の関数として,パフォーマンスの進化を規定する2つの新しいテキスト力学的スケーリング法則を同定する。我々の発見は、CNN、ResNets、MNIST、CIFAR-10、CIFAR-100で訓練されたVision Transformersで一致している。我々は,ロジスティックな損失で訓練された単一層パーセプトロンを用いて解析支援を行い,新しい動的スケーリング法則を導出する。
論文参考訳（メタデータ） (2025-05-19T15:13:36Z)
Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
論文参考訳（メタデータ） (2025-03-03T08:57:49Z)
Scaling Law for Language Models Training Considering Batch Size [17.09348741898811]
大規模言語モデル(LLM)は近年顕著な進歩を遂げており、この急速な進歩においてスケーリング法則が重要な役割を担っている。本稿は,LLMトレーニングの実践において,重要なハイパーパラメータ,すなわちグローバルバッチサイズがどのように影響するかを実証的に検討する。モデルのサイズとトレーニングデータ量に関する基本的なスケーリング法則を確立します。次に,バッチサイズや学習率の変化が,これらのモデルの収束と一般化にどのように影響するかを検討する。
論文参考訳（メタデータ） (2024-12-02T13:58:35Z)
Scaling Laws for Precision [73.24325358259753]
トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
論文参考訳（メタデータ） (2024-11-07T00:10:10Z)
The Fair Language Model Paradox [19.439996884827448]
大規模言語モデル(LLM)は現実世界のアプリケーションに広くデプロイされているが、トークンレベルでのトレーニングダイナミクスについてはほとんど知られていない。重みの減衰が増加するにつれて、低周波トークンは不均等に劣化することを示す。これらの無視された低周波トークンは、ほとんどの言語におけるトークン分布の大部分を表わしているため、これは特に関係している。
論文参考訳（メタデータ） (2024-10-15T18:47:12Z)
Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
論文参考訳（メタデータ） (2024-07-17T15:48:39Z)
Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
論文参考訳（メタデータ） (2024-05-17T17:49:44Z)
Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文参考訳（メタデータ） (2024-03-13T13:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。