論文の概要: What do Language Models Learn and When? The Implicit Curriculum Hypothesis

• arxiv url: http://arxiv.org/abs/2604.08510v1
• Date: Thu, 09 Apr 2026 17:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:06.058504
• Title: What do Language Models Learn and When? The Implicit Curriculum Hypothesis
• Title（参考訳）: 言語モデルはいつ何を学習するか? : 暗黙のカリキュラム仮説
• Authors: Emmy Liu, Kaiser Sun, Millicent Li, Isabelle Lee, Lindia Tjuatja, Jen-tse Huang, Graham Neubig,
• Abstract要約: Inlicit Curriculum hypothesis: Pretraining following a compositional and predictable curriculum across models。 410M-13Bパラメータから4つのモデルファミリの出現点を追跡する。 モデルが一定の精度のしきい値に達する際の出現順序は著しく一致していることがわかった。
• 参考スコア（独自算出の注目度）: 50.89698323917259
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent ($ρ= .81$ across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining ($R^2 = .68$-$.84$ across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.
• Abstract（参考訳）: 大規模言語モデル(LLM)は驚くほど複雑なタスクを実行できるが、事前訓練中にこれらの能力がどのように現れるかの詳細は理解されていない。 検証損失に関する法則のスケーリングは、モデルが追加の計算でどれだけ改善するかを示すが、どの順番で獲得したスキルは示さない。 これを解決するために,本論文では,モデルとデータ混合物にまたがる構成的で予測可能なカリキュラムの事前学習について,Implicit Curriculum hypothesisを提案する。 我々は、検索、形態的変換、コア推論、論理的推論、数学にまたがる、単純で構成可能な一連のタスクを設計することによってこれをテストする。 これらのタスクを用いて、410M-13Bパラメータから4つのモデルファミリの出現点を追跡する。 モデルが一定の精度のしきい値に達する際の出現順序は著しく一致している(ρ= .81$ across 45 model pairs)。 さらに、この構造はモデル表現に符号化されており、類似した関数ベクトル表現を持つタスクも訓練において同様の軌道に従う傾向にある。 タスクセットから導出される表現空間を利用することで、事前学習(R^2 = .68$-$.84$)を通して単純な構成タスクの訓練軌跡を事前に評価することなく、効果的に予測することができる。 これらの結果は、事前学習が損失曲線よりも構造化されていることを示唆している。

関連論文リスト

• Task Addition and Weight Disentanglement in Closed-Vocabulary Models [75.01322212415435]
  タスク算術は、事前学習されたテキストオープン語彙モデルを編集するための有望な方法として登場した。 本稿では,クローズドボキャブラリ画像分類モデルにおけるタスク追加について検討する。 事前学習された視覚変換器もタスク演算で編集できることがわかった。
  論文  参考訳（メタデータ） (2025-11-18T15:12:21Z)
• Small Models, Smarter Learning: The Power of Joint Task Training [23.91574901740084]
  本研究では,ネストした数学的操作からなるListOpsデータセットに着目した。 我々は和 modulo n が最も学習が難しいことを観察する。 ジョイントトレーニングは,パフォーマンスの向上だけでなく,定性的に異なるモデル行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-05-23T20:56:37Z)
• Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models [9.340409961107955]
  トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある 本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。 以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-01T21:41:08Z)
• Task-Specific Skill Localization in Fine-tuned Language Models [36.53572616441048]
  本稿では,この問題に対するスキルローカライゼーションという用語を紹介する。 単純な最適化は、非常に小さなパラメータのサブセットを特定するために使われる。 この小さなサブセットの微調整された値を事前訓練されたモデルに移植することで、微調整されたモデルとほぼ同等のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-02-13T18:55:52Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。