論文の概要: The Ephemeral Cost of Switching Optimizers Across LLM Training Stages

• arxiv url: http://arxiv.org/abs/2610.22650v1
• Date: Thu, 15 Oct 2026 21:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.670402
• Title: The Ephemeral Cost of Switching Optimizers Across LLM Training Stages
• Title（参考訳）: LLM訓練段階におけるスイッチングオプティマイザの短期コスト
• Abstract要約: 我々は,AdamW と Muons のミスマッチについて,スクラッチから1.2B Llama-3 モデルを事前学習することで検討した。 驚いたことに、意味のあるミスマッチのペナルティの証拠はほとんど見つからない。
• 参考スコア（独自算出の注目度）: 44.80829704989605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work suggests that switching optimizers between pretraining and subsequent training stages incurs a performance cost, but systematic investigation of this phenomenon is lacking. We study the mismatch between AdamW and Muon optimizers by pretraining 1.2B Llama-3 models from scratch while varying the proportion of updates taken with each optimizer, and similarly interpolating between the two optimizers during continued pretraining and supervised fine-tuning (SFT). Surprisingly, we find little evidence of a meaningful optimizer mismatch penalty: final performance is largely explained by the independent effects of the pretraining and post-training optimizers, with downstream performance generally improving as the proportion of Muon updates during SFT increases. Although matching the pretraining optimizer can reduce forgetting during SFT, this does not translate into improved final benchmark performance. We further evaluate AdamW and Muon for task-general SFT of open-weight models, across the Llama and Qwen families up to 14B parameters, where Muon remains competitive with AdamW, despite these models having been pretrained with AdamW. Together, our results suggest that the choice of optimizer for post-training can be made largely independently of the optimizer used during pretraining.
• Abstract（参考訳）: 最近の研究は、事前訓練とその後の訓練段階のオプティマイザの切り替えがパフォーマンスコストを引き起こすことを示唆しているが、この現象の系統的な研究は不十分である。 我々は,AdamW と Muon のオプティマイザ間のミスマッチを,各オプティマイザの更新率を変化させつつ,1.2B Llama-3 モデルをスクラッチから事前訓練し,継続事前訓練および教師付き微調整(SFT)中に2つのオプティマイザ間を補間することによって検討した。 SFTにおけるMuon更新の割合が増加するにつれて、最終性能は、事前学習と後学習のオプティマイザの独立効果によって大きく説明され、ダウンストリーム性能は一般的に改善される。 事前学習オプティマイザのマッチングは、SFT中の忘れを軽減できるが、最終的なベンチマーク性能の改善にはならない。 我々はさらに、オープンウェイトモデルのタスク汎用SFTとして、LlamaおよびQwenファミリーの最大14Bパラメータに対してAdamWとMuonを評価し、これらのモデルがAdamWと事前訓練されているにもかかわらず、MuonはAdamWと競合し続けている。 この結果から,事前学習で使用するオプティマイザとは独立して,ポストトレーニングにおけるオプティマイザの選択が可能であることが示唆された。

関連論文リスト

• Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less [20.230676271699743]
  事前トレーニングと同様の完全な微調整は、学習を忘れるトレードオフ、すなわち、新しいタスクで同じあるいはより良いパフォーマンスを達成しながら、より少ないことを忘れることを実現する。 合成言語モデリング実験を用いて、これはMuonのロテに対する強い傾向から生じる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:57:02Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• Breaking the Limits of Open-Weight CLIP: An Optimization Framework for Self-supervised Fine-tuning of CLIP [60.025820738301434]
  TuneCLIPはCLIPモデルの自己教師型微調整フレームワークである。 モデルアーキテクチャとスケールをまたいだパフォーマンスを継続的に改善します。 SigLIP (ViT-B/16) のような主要なオープンウェイトモデルが増加し、ImageNetと関連するアウト・オブ・ディストリビューション・ベンチマークで最大で2.5%向上した。
  論文  参考訳（メタデータ） (2026-01-14T20:38:36Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• REG: A Regularization Optimizer for Robust Training Dynamics [24.850151895583494]
  RACS(Row-and-Column-Scaling)オペレータは、更新ステップをより劇的な方法で正規化することにより、既存のトレーニングダイナミクスの実装が簡単になり、互換性が向上する。 我々は,我々のREGがAdamWよりも優れた性能と安定性を達成できることを実証すると同時に,AdamWトレーニングパラダイムとの整合性も維持する。
  論文  参考訳（メタデータ） (2025-10-04T06:05:57Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [42.608899417822656]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。