Fugu-MT 論文翻訳(概要): Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack

論文の概要: Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack

arxiv url: http://arxiv.org/abs/2609.08966v1
Date: Tue, 08 Sep 2026 16:19:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.692764
Title: Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack
Title（参考訳）: 良いプレトレーニング、悪いSFT:トレーニングスタック全体のチェックポイント品質
Abstract要約: この仮定は、30Bのエキスパートのトレーニングパイプラインで失敗する可能性があることを示す。フルダウンストリームトレーニングスタックの後のチェックポイントは、より高い解密度、すなわち、局所的な重量摂動の下で下流のパフォーマンスを維持する。
参考スコア（独自算出の注目度）: 6.611453057961129
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Language-model checkpoints are commonly selected by pretraining loss or benchmark scores, assuming that the highest-scoring checkpoint will remain the best starting point for subsequent training. We show that this assumption can fail in a full 30B mixture-of-experts training pipeline. The checkpoints that perform better after the full downstream training stack also have higher solution density, i.e., retain downstream performance under local weight perturbations.
Abstract（参考訳）: 言語モデルチェックポイントは、最も高いスコアのチェックポイントがその後のトレーニングの出発点であり続けると仮定して、損失やベンチマークスコアの事前訓練によって選択されるのが一般的である。この仮定は、30Bのエキスパートのトレーニングパイプラインで失敗する可能性があることを示す。フルダウンストリームトレーニングスタックの後のチェックポイントは、より高い解密度、すなわち、局所的な重量摂動の下で下流のパフォーマンスを維持する。

関連論文リスト

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
論文参考訳（メタデータ） (2026-05-19T06:04:08Z)
Uncertainty-Guided Checkpoint Selection for Reinforcement Finetuning of Large Language Models [27.97382399449914]
強化学習(RL)ファインタニングは大規模言語モデル(LLM)の整合に不可欠であるが、そのプロセスは不安定である。実際に、最高のチェックポイントを選択することは難しい。トレーニング中の検証セットのチェックポイントを評価することは、計算コストが高く、優れた検証セットが必要である。チェックポイント選択(UGCS)に対する不確実性誘導手法を導入し,これらの落とし穴を回避する。
論文参考訳（メタデータ） (2025-11-13T01:46:58Z)
Midtraining Bridges Pretraining and Posttraining Distributions [73.84346031272473]
ミストレイン(Midtraining)とは、事前トレーニングの終了時に、高い品質の命令形式データを混合するフェーズである。我々は,スクラッチから事前学習した言語モデルを用いた実験を通じて,中等教育に関する最初の体系的な研究を行う。教師付き微調整の結果と比較すると,数学やコード領域において中等教育の有効性が最も高いことがわかった。
論文参考訳（メタデータ） (2025-10-16T16:39:52Z)
Instability in Downstream Task Performance During LLM Pretraining [12.840216854750565]
多様なWebスケールコーパスで学習した大規模言語モデル(LLM)における下流タスク性能の安定性について検討する。タスクスコアは、アグリゲーションレベルとサンプルレベルの両方で、トレーニングを通して頻繁に変動する。この不安定性に対処するために、チェックポイント平均化とアンサンブルという2つのポストホックチェックポイント統合手法について検討する。
論文参考訳（メタデータ） (2025-10-06T14:33:38Z)
Confidence-gated training for efficient early-exit neural networks [49.78598138251519]
初期段階のニューラルネットワークは、中間層での確実な予測を可能にすることにより、推論コストを低減する。我々は,前回の出口が故障した場合のみ,より深い出口からの勾配を条件的に伝播させるパラダイムである信頼性訓練(CGT)を提案する。
論文参考訳（メタデータ） (2025-09-22T15:18:21Z)
Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
論文参考訳（メタデータ） (2025-03-24T23:11:56Z)
ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development [9.13331802151585]
ByteCheckpoint は大規模 LFM トレーニングのための産業レベルのチェックポイントシステムである。 ByteCheckpoint はチェックポイントストールを著しく減少させ、平均54.20倍の減少を達成する。 ByteCheckpointは、保存時間とロード時間を最大9.96倍と8.80倍に改善した。
論文参考訳（メタデータ） (2024-07-29T16:18:20Z)
Early Weight Averaging meets High Learning Rates for LLM Pre-training [20.671831210738937]
高い学習率で訓練されたモデルは、チェックポイント平均化により、より高い利得を観測できることを示す。トレーニングレシピは、従来のトレーニングと一般的なチェックポイント平均基準よりも優れています。
論文参考訳（メタデータ） (2023-06-05T20:51:44Z)
Exploiting the Partly Scratch-off Lottery Ticket for Quantization-Aware Training [69.8539756804198]
数回のトレーニングの後に、量子化重量の大部分が最適な量子化レベルに達し、これは部分的にスクラッチオフされた宝くじと呼ばれる。フル精度のチケットと量子化レベルの距離が制御可能な閾値よりも小さい場合、重量を凍結する「抽選チケットスクラッカー」(LTS)と呼ばれる手法を開発した。
論文参考訳（メタデータ） (2022-11-12T06:11:36Z)
Ranking Neural Checkpoints [57.27352551718646]
本稿では、下流タスクへの変換学習のための事前訓練されたディープニューラルネットワーク(DNN)のランキングについて検討する。ニューラルチェックポイントランキングベンチマーク(NeuCRaB)を構築し,直感的なランキング尺度について検討する。以上の結果から,チェックポイントによって抽出された特徴の線形分離性は,伝達可能性の強い指標であることが示唆された。
論文参考訳（メタデータ） (2020-11-23T04:05:46Z)
Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
論文参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。