論文の概要: Model Merging in Pre-training of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12082v2
• Date: Tue, 20 May 2025 04:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.417818
• Title: Model Merging in Pre-training of Large Language Models
• Title（参考訳）: 大規模言語モデルの事前学習におけるモデルマージ
• Authors: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Siyuan Qiao, Liang Xiang, Yonghui Wu,
• Abstract要約: 本稿では,事前学習過程におけるモデルマージ手法について包括的に検討する。 一定の学習率で訓練されたチェックポイントをマージすることで、大幅な性能向上が達成できることを示す。 我々は、効果的なモデルマージのための実践的な事前トレーニングガイドラインをオープンソースコミュニティに提供する。
• 参考スコア（独自算出の注目度）: 34.63741360222571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.
• Abstract（参考訳）: モデルマージは、大規模言語モデルを強化するための有望な手法として登場したが、大規模な事前学習への応用は、いまだに探索されていない。 本稿では,事前学習過程におけるモデルマージ手法について包括的に検討する。 数百万から1000億以上のパラメータからなる密集型および混在型(Mixture-of-Experts)アーキテクチャの広範な実験を通じて、一定の学習率でトレーニングされたチェックポイントをマージすることで、大幅な性能向上が達成できるだけでなく、アニール挙動の正確な予測が可能になることを実証した。 これらの改善は、より効率的なモデル開発と、トレーニングコストの大幅な削減につながります。 マージ戦略とハイパーパラメータに関する詳細なアブレーション研究は、新しい応用を明らかにしつつ、基礎となるメカニズムに関する新たな洞察を提供する。 総合的な実験分析を通じて、効果的なモデルマージのための実践的事前学習ガイドラインをオープンソースコミュニティに提供する。

関連論文リスト

• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
  MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。 我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-05T07:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。