論文の概要: Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

• arxiv url: http://arxiv.org/abs/2605.06654v1
• Date: Thu, 07 May 2026 17:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.072086
• Title: Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
• Title（参考訳）: Optimizer-Model Consistency:Pretraining Forgetsとしての同じOptimizerによるフルファインタニング
• Authors: Yuxing Liu, Jianyu Wang, Tong Zhang,
• Abstract要約: 事前トレーニングと同様の完全な微調整は、学習を忘れるトレードオフ、すなわち、新しいタスクで同じあるいはより良いパフォーマンスを達成しながら、より少ないことを忘れることを実現する。 合成言語モデリング実験を用いて、これはMuonのロテに対する強い傾向から生じる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 20.230676271699743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizers play an important role in both pretraining and finetuning stages when training large language models (LLMs). In this paper, we present an observation that full finetuning with the same optimizer as in pretraining achieves a better learning-forgetting tradeoff, i.e., forgetting less while achieving the same or better performance on the new task, than other optimizers and, possibly surprisingly, LoRA, during the supervised finetuning (SFT) stage. We term this phenomenon optimizer-model consistency. To better understand it, through controlled experiments and theoretical analysis, we show that: 1) optimizers can shape the models by having regularization effects on the activations, leading to different landscapes around the pretrained checkpoints; 2) in response to this regularization effect, the weight update in SFT should follow some specific structures to lower forgetting of the knowledge learned in pretraining, which can be obtained by using the same optimizer. Moreover, we specifically compare Muon and AdamW when they are employed throughout the pretraining and SFT stages and find that Muon performs worse when finetuned for reasoning tasks. With a synthetic language modeling experiment, we demonstrate that this can come from Muon's strong tendency towards rote memorization, which may hurt pattern acquisition with a small amount of data, as for SFT.
• Abstract（参考訳）: 最適化は、大規模言語モデル(LLM)のトレーニングにおいて、事前学習と微調整の両方において重要な役割を果たす。 本稿では,事前学習時と同じオプティマイザによるフルファインタニングが,他のオプティマイザよりも新しいタスクにおいて,同じあるいは優れたパフォーマンスを達成しながら,あるいは,おそらくは,監督的微調整(SFT)段階において,忘れることの少ない学習鍛造トレードオフを達成できることを示す。 この現象を最適化モデル整合性と呼ぶ。 よりよく理解するために、制御された実験と理論的分析を通して、次のように示します。 1)オプティマイザは、アクティベーションに規則化効果を持たせ、事前訓練されたチェックポイントの周囲の異なる景観に繋がるモデルを形成することができる。 2) この正規化効果に対応するため,SFTの重み更新は,事前学習で学んだ知識を,同じオプティマイザで得るために,特定の構造に従わなければならない。 さらに,MuonとAdamWを事前学習段階およびSFT段階を通じて採用した場合に比較し,推論タスクの微調整を行った場合,Muonが悪化することを確認した。 合成言語モデリング実験により、この現象は、SFTのような少量のデータによるパターン獲得を損なう可能性のある、ミューンのロート記憶への強い傾向から生じることを実証する。

関連論文リスト

• REG: A Regularization Optimizer for Robust Training Dynamics [24.850151895583494]
  RACS(Row-and-Column-Scaling)オペレータは、更新ステップをより劇的な方法で正規化することにより、既存のトレーニングダイナミクスの実装が簡単になり、互換性が向上する。 我々は,我々のREGがAdamWよりも優れた性能と安定性を達成できることを実証すると同時に,AdamWトレーニングパラダイムとの整合性も維持する。
  論文  参考訳（メタデータ） (2025-10-04T06:05:57Z)
• Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
  大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。 事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2025-03-24T23:11:56Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• PROFIT: A Specialized Optimizer for Deep Fine Tuning [8.303565426823674]
  ProFITは、新しいタスクやデータセットの収束モデルをインクリメンタルに微調整するように設計された最初の1つである。 PROFITは、最適化プロセスの規則化を明示的に考慮し、収束モデルの性質を考慮に入れます。 画像分類からマルチモーダル言語モデルトレーニング,大規模動作予測に至るまで,様々なタスクにおける微調整手法より優れている。
  論文  参考訳（メタデータ） (2024-12-02T19:37:34Z)
• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。