論文の概要: Mapping Post-Training Forgetting in Language Models at Scale

• arxiv url: http://arxiv.org/abs/2510.17776v1
• Date: Mon, 20 Oct 2025 17:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.545034
• Title: Mapping Post-Training Forgetting in Language Models at Scale
• Title（参考訳）: 大規模言語モデルにおける学習後予測のマッピング
• Authors: Jackson Harmon, Andreas Hochlehnert, Matthias Bethge, Ameya Prabhu,
• Abstract要約: スケールドポストトレーニングは、現在、言語モデルで最大の能力向上を加速している。 我々は,忘れられたことや後方移動の発生時期を測定するために,サンプルワイズパラダイムを提案する。 我々のフレームワークは、ポストトレーニングが事前訓練された知識を大規模にどのように変更するかをマッピングするための実践的なヤードスティックを提供する。
• 参考スコア（独自算出の注目度）: 21.32247361921916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaled post-training now drives many of the largest capability gains in language models (LMs), yet its effect on pretrained knowledge remains poorly understood. Not all forgetting is equal: Forgetting one fact (e.g., a U.S. president or an API call) does not "average out" by recalling another. Hence, we propose a sample-wise paradigm to measure what is forgotten and when backward transfer occurs. Our metric counts 1->0 transitions (correct before post-training, incorrect after) to quantify forgetting and 0->1 transitions to quantify backward transfer. Traditional task averages conflate these effects and obscure large changes. For multiple-choice benchmarks, we add chance-adjusted variants that subtract the expected contribution of random guessing from pre- and post-training accuracies. We apply this framework across post-training stages, model sizes, and data scales. Our large-scale analysis shows that: (1) Domain-continual pretraining induces moderate forgetting with low-to-moderate backward transfer; (2) RL/SFT post-training applied to base models and Instruction tuning yields moderate-to-large backward transfer on math and logic with overall low-to-moderate forgetting; (3) Applying RL/SFT to instruction-tuned models is sensitive on data scale: at small scales, both forgetting and backward transfer are small; at larger scales, effects are mixed and warrant further study with better controls; (4) Model merging does not reliably mitigate forgetting. Overall, our framework offers a practical yardstick for mapping how post-training alters pretrained knowledge at scale -- enabling progress towards generally capable AI systems.
• Abstract（参考訳）: スケールド・ポストトレーニングは言語モデル(LM)における最大の能力向上の要因となっているが、事前訓練された知識に対する影響はよく分かっていない。 一つの事実(例えば、アメリカの大統領やAPI呼び出し)を忘れることは、他の事実を思い出すことによって「平均的に」なされない。 そこで本研究では,忘れられたことや後方移動の発生を計測するためのサンプルワイズパラダイムを提案する。 我々の計量は1->0遷移(トレーニング後の正しい、不正確な後)を数えて、忘れを定量化し、0->1遷移は後向きの遷移を定量化する。 伝統的なタスク平均は、これらの効果と不明瞭な大きな変化を詳述する。 複数選択のベンチマークでは、事前および後学習の精度から予測されるランダムな推測の寄与を減じる確率調整の変種を追加します。 トレーニング後の段階、モデルサイズ、データスケールにこのフレームワークを適用します。 大規模分析では,(1)ドメイン・Continual Pretraining(ドメイン・コンティネント・プレトレーニング)は,低次から低次への後方移行による中等度な忘れ込みを誘導し,(2)ベースモデルに適用したRL/SFTポストトレーニングと(2)インストラクション・チューニング(インストラクション・チューニング)は,全体の低次から低次への誤りを伴って,数学と論理における中等度から大規模への後方移行を誘導する。(3) 命令・チューニングモデルへのRL/SFTの適用は,データスケールに敏感である。 全体として、私たちのフレームワークは、ポストトレーニングがトレーニング済みの知識を大規模に変更する方法をマッピングするための実践的なヤードスティックを提供します。

関連論文リスト

• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models [19.136589266017694]
  大規模言語モデルのトレーニングは通常、大量のコーパスで事前トレーニングを行う。 新しいデータは、しばしば分散シフトを引き起こし、以前に学習したタスクのパフォーマンスが低下する。 この分散シフトに対処するための2つの一般的な提案、すなわちエクスペリエンスのリプレイとアライメントアライメントについて、より深く検討する。
  論文  参考訳（メタデータ） (2025-08-03T20:07:15Z)
• Scaling Laws for Downstream Task Performance in Machine Translation [27.278023091494507]
  BLEU や COMET などの指標を用いて,事前学習データの選択が下流のパフォーマンス(翻訳品質)に与える影響について検討した。 十分なアライメントで、下流のクロスエントロピーと翻訳品質スコアは、より事前訓練されたデータで単調に改善される。
  論文  参考訳（メタデータ） (2024-02-06T17:31:20Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Inverse Scaling: When Bigger Isn't Better [80.42834197416444]
  大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
  論文  参考訳（メタデータ） (2023-06-15T20:11:23Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Scaling Laws for Transfer [0.5432984841650929]
  本研究では,教師なし微調整環境における分布間の移動学習のスケーリング法則について検討する。 提案手法は,パラメータ数と微調整データセットサイズに比例したパワーロー則を用いて,データ転送の効率をよく記述する。
  論文  参考訳（メタデータ） (2021-02-02T04:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。