論文の概要: Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning

• arxiv url: http://arxiv.org/abs/2505.22389v1
• Date: Wed, 28 May 2025 14:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.646885
• Title: Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning
• Title（参考訳）: 統合後の摂動学習:継続的学習のための2段階フレームワーク
• Authors: Haomiao Qiu, Miao Zhang, Ziyue Qiao, Liqiang Nie,
• Abstract要約: P&M(texttext-Perturb-and-Merge)は,モデルマージをCLパラダイムに統合し,忘れることを避けるための新しい連続学習フレームワークである。 理論的解析により、全てのタスクにおける総損失増加を最小化し、最適マージ係数の解析解を導出する。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 59.6658995479243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) aims to enable models to continuously acquire new knowledge from a sequence of tasks with avoiding the forgetting of learned information. However, existing CL methods only rely on the parameters of the most recent task for inference, which makes them susceptible to catastrophic forgetting. Inspired by the recent success of model merging techniques, we propose \textbf{Perturb-and-Merge (P\&M)}, a novel continual learning framework that integrates model merging into the CL paradigm to mitigate forgetting. Specifically, after training on each task, P\&M constructs a new model by forming a convex combination of the previous model and the newly trained task-specific model. Through theoretical analysis, we minimize the total loss increase across all tasks and derive an analytical solution for the optimal merging coefficient. To further improve the performance of the merged model, we observe that the degradation introduced during merging can be alleviated by a regularization term composed of the task vector and the Hessian matrix of the loss function. Interestingly, we show that this term can be efficiently approximated using second-order symmetric finite differences, and a stochastic perturbation strategy along the task vector direction is accordingly devised which incurs no additional forward or backward passes while providing an effective approximation of the regularization term. Finally, we combine P\&M with LoRA, a parameter-efficient fine-tuning method, to reduce memory overhead. Our proposed approach achieves state-of-the-art performance on several continual learning benchmark datasets.
• Abstract（参考訳）: CL(Continuous Learning)は、学習情報の忘れを回避し、一連のタスクから新たな知識を連続的に獲得することを目的としている。 しかし、既存のCLメソッドは推論のための最新のタスクのパラメータにのみ依存しており、破滅的な忘れ込みの影響を受ける。 近年のモデルマージ技術の成功に触発されて,モデルマージをCLパラダイムに統合し,忘れを緩和する新たな連続学習フレームワークである \textbf{Perturb-and-Merge (P\&M)} を提案する。 具体的には、各タスクをトレーニングした後、P\&Mは以前のモデルと新しく訓練されたタスク固有モデルの凸結合を形成して、新しいモデルを構築する。 理論的解析により、全てのタスクにおける総損失増加を最小化し、最適マージ係数の解析解を導出する。 マージモデルの性能をさらに向上するため,タスクベクトルと損失関数のヘシアン行列からなる正規化項により,マージ時に生じる劣化を緩和できることを示した。 興味深いことに、この項は二階対称有限差分を用いて効率的に近似できることを示し、従ってタスクベクトル方向に沿った確率的摂動戦略を考案し、正規化項を効果的に近似しながら、追加の前方・後方通過を生じさせないようにした。 最後に、パラメータ効率のよい微調整法であるLoRAとP\&Mを組み合わせることにより、メモリオーバーヘッドを低減する。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。

関連論文リスト

• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。