論文の概要: AIMMerging: Adaptive Iterative Model Merging Using Training Trajectories for Language Model Continual Learning

• arxiv url: http://arxiv.org/abs/2509.17348v1
• Date: Mon, 22 Sep 2025 04:19:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.228024
• Title: AIMMerging: Adaptive Iterative Model Merging Using Training Trajectories for Language Model Continual Learning
• Title（参考訳）: AIMMerging:言語モデル継続学習のための訓練軌道を用いた適応的反復モデルマージ
• Authors: Yujie Feng, Jian Li, Xiaoyu Dong, Pengfei Xu, Xiaohui Zhou, Yujia Zhang, Zexin LU, Yasha Wang, Alan Zhao, Xu Chu, Xiao-Ming Wu,
• Abstract要約: 本稿では,モデルのトレーニング状況を監視する新しいCLフレームワークであるAdaptive Iterative Model Merging(AimMerging)を紹介する。 実験によると、AimMergingは既存の最先端メソッドよりも大幅にパフォーマンスが向上している。
• 参考スコア（独自算出の注目度）: 35.182662964528845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) is essential for deploying large language models (LLMs) in dynamic real-world environments without the need for costly retraining. Recent model merging-based methods have attracted significant attention, but they still struggle to effectively manage the trade-off between learning new knowledge and preventing forgetting, a challenge largely stemming from suboptimal number of merges and merging frequency. In this paper, we introduce Adaptive Iterative Model Merging (AimMerging), a novel CL framework that utilizes learning and forgetting signals from the training trajectory to dynamically monitor the model's training status. Guided by dynamic monitoring, the training trajectory-guided merge controller adaptively determines the timing and frequency of iterative fusion, while the rehearsal-based knowledge fusion module computes the merging weights and executes the fusion. Comprehensive experiments on three CL benchmarks with various model sizes (from 770M to 13B) demonstrate that AimMerging achieves significant performance improvements over existing state-of-the-art methods, with an average relative improvement of 80% and 59% on FWT and BWT, respectively. The source code is provided for reproducibility.
• Abstract（参考訳）: 継続的な学習(CL)は,大規模言語モデル(LLM)を動的現実環境にデプロイするために,コストのかかる再トレーニングを必要とせずに必要不可欠である。 最近のモデルマージ方式は注目されているが、新しい知識の習得と忘れの防止のトレードオフを効果的に管理するのに苦慮している。 本稿では,適応反復モデル統合(AimMerging, Adaptive Iterative Model Merging, AimMerging)について紹介する。 リハーサルベースの知識融合モジュールがマージ重みを演算し、融合を実行する間、動的監視によりトレーニング軌跡誘導マージコントローラは、反復融合のタイミングと頻度を適応的に決定する。 様々なモデルサイズを持つ3つのCLベンチマーク(770Mから13B)の総合的な実験により、AimMergingは既存の最先端手法よりも大幅な性能向上を達成し、それぞれFWTとBWTの平均相対的改善は80%と59%であった。 ソースコードは再現性のために提供される。

関連論文リスト

• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Recurrent Knowledge Identification and Fusion for Language Model Continual Learning [41.901501650712234]
  Recurrent-KIF は Recurrent Knowledge Identification and Fusion のためのCLフレームワークである。 人間の連続学習にインスパイアされたRecurrent-KIFは、内部ループを使用し、新しいタスクに迅速に適応する。 新しい知識と歴史的知識の融合を世界規模で管理する外ループ。
  論文  参考訳（メタデータ） (2025-02-22T05:37:27Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。