論文の概要: Generalization Dynamics of LM Pre-training

• arxiv url: http://arxiv.org/abs/2609.33150v1
• Date: Sun, 27 Sep 2026 03:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:02:34.670109
• Title: Generalization Dynamics of LM Pre-training
• Title（参考訳）: LMプレトレーニングの一般化ダイナミクス
• Abstract要約: 典型的には、LMはパターンマッチングオウムから、事前学習中に一般化可能な知性へと成熟したと仮定する。 プレトレーニングの間、LMは頻繁に、そして突然、オウムのような計算とインテリジェンスのような計算を切り替えます。 私たちのスイート全体において、LMは、コンテキスト内学習ではなく、暗記された、あるいはコンテキスト内パターンに突然ラッチします。
• 参考スコア（独自算出の注目度）: 58.64504829659694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People typically assume that LMs stably mature from pattern-matching parrots to generalizable intelligence during pre-training. We build a toy eval suite and show this mental model is wrong: throughout pre-training, LMs frequently and suddenly hop between parrot-like and intelligence-like computations. We call this mode-hopping. Across our suite, LMs suddenly latch onto memorized or in-context patterns instead of in-context learning, use System 1 instead of System 2 thinking, pick up what sounds true instead of what is true, fail at multi-hop persona QA, out-of-context reasoning, and emergent misalignment -- then just as suddenly revert and generalize. Mode-hopping is not explained by standard optimization dynamics: it is locally stable and cannot be fixed by checkpoint averaging. We instead think of it as a capacity allocation problem: in a capacity-bounded model, generalizable circuits must compete with the shallow ones learned early in training, and the data in each pre-training window may decide which circuits win. Our suite provides a new efficient lens on generalization. We demonstrate two concrete applications: (i) select intermediate pre-training checkpoints that strongly generalize reasoning and alignment, better than the final pre- or mid-training checkpoints, and (ii) select pre-training data that controls and stabilizes generalization dynamics.
• Abstract（参考訳）: 典型的には、LMはパターンマッチングオウムから、事前学習中に一般化可能な知性へと安定して成熟していると仮定する。 私たちはおもちゃのevalスイートを構築し、このメンタルモデルが間違っていることを示す。 これをモードホッピングと呼ぶ。 私たちのスイート全体において、LMは、コンテキスト内学習ではなく、暗黙のパターンやコンテキスト内パターンに突然ラッチを付け、System 2の考え方の代わりにSystem 1を使い、真実ではなく真実に聞こえるものを拾い上げ、マルチホップペルソナQA、アウトオブコンテクストの推論、創発的なミスアライメントに失敗します。 モードホッピングは標準的な最適化力学では説明されず、局所的に安定しており、チェックポイント平均化では修正できない。 キャパシティバウンドモデルでは、一般化可能な回路はトレーニングの初期段階で学んだ浅い回路と競合し、事前学習ウィンドウ内のデータはどの回路が勝つかを決定する必要がある。 私たちのスイートは、一般化のための新しい効率的なレンズを提供します。 具体的な応用例を2つ挙げる。 一 推論及びアライメントを強く一般化した中間予習チェックポイントを、最終予習チェックポイント又は中習チェックポイントより優れたものとして選択すること。 (II)一般化力学を制御・安定化する事前学習データを選択する。

関連論文リスト

• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability [64.97610656176981]
  LLMポストトレーニングでは、教師付き微調整(SFT)が記憶し、強化学習(RL)が一般化される。 我々は、長いチェーン・オブ・シークレット(CoT)の監督でSFTを推論するこの主張を再考し、クロスドメインの一般化は欠落ではなく条件付きであることを見出した。
  論文  参考訳（メタデータ） (2026-04-08T03:11:16Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Mapping Post-Training Forgetting in Language Models at Scale [21.32247361921916]
  スケールドポストトレーニングは、現在、言語モデルで最大の能力向上を加速している。 我々は,忘れられたことや後方移動の発生時期を測定するために,サンプルワイズパラダイムを提案する。 我々のフレームワークは、ポストトレーニングが事前訓練された知識を大規模にどのように変更するかをマッピングするための実践的なヤードスティックを提供する。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test [22.499052329934603]
  LLMがトレーニングデータを記憶する時、下流タスクの一般化が改善し始める時、そして両者の間にラグがある場合、どうなるかを検討する。 我々の研究は、初めて、グラッキングが試験前混合物質(MoE)にまだ現れることを示した。 我々の第一の発見は、経路がランダムで非平滑な層をまたいで進化し、例えば、事前学習の損失が収束しているにもかかわらず、より構造化され、サンプル間で移動可能であることである。
  論文  参考訳（メタデータ） (2025-06-26T17:59:58Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。