論文の概要: Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

• arxiv url: http://arxiv.org/abs/2605.08311v1
• Date: Fri, 08 May 2026 14:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.557159
• Title: Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning
• Title（参考訳）: 学習開始の活性化:連続学習におけるモデルマージのためのストレージ依存回避
• Authors: Xi Wang, Cheng Deng,
• Abstract要約: Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
• 参考スコア（独自算出の注目度）: 57.10440766103372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging provides a compelling paradigm for integrating specialized expertise into a unified multi-task model, a goal that aligns naturally with the sequential knowledge acquisition in continual learning (CL). However, the requirement for preserving diverse forms of previous knowledge conflicts with the storage limitations inherent to CL. In this paper, we systematically analyze existing model merging methods under the constraints of CL. We find that current methods prioritize global alignment, which often leads to the accumulation and amplification of task-specific errors within the continuous data stream; and the vanishing gradients at the onset of subsequent tasks frequently cause optimization to stagnate. These leave the merged model in a suboptimal state at the beginning of the next training phase. To address these challenges, we propose Trajectory Regularized Merging (TRM), a framework that reformulates the merging phase as an optimization process within an augmented trajectory subspace. Our framework integrates three synergistic objectives including task alignment, prediction consistency, and gradient responsiveness to concurrently preserve merged model's historical stability and re-activate optimization dynamics. Extensive experimental results demonstrate that our method achieves state-of-the-art performance across multiple benchmarks.
• Abstract（参考訳）: モデルマージは、専門知識を統一されたマルチタスクモデルに統合するための魅力的なパラダイムを提供する。 しかし、過去の知識の様々な形態を保存するための要件は、CL固有の記憶制限と矛盾する。 本稿では,CLの制約下で既存のモデルマージ手法を体系的に解析する。 現在の手法はグローバルアライメントを優先しており、連続データストリーム内のタスク固有のエラーの蓄積と増幅につながることが多い。 これらは、マージされたモデルを次のトレーニングフェーズの開始時に最適以下の状態に置きます。 これらの課題に対処するために,拡張トラジェクトリサブ空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークであるトラジェクトリ正規化マージ(TRM)を提案する。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。 大規模な実験結果から,本手法は複数のベンチマークにおいて最先端性能を実現することが示された。

関連論文リスト

• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• BECAME: BayEsian Continual Learning with Adaptive Model MErging [21.642774366793997]
  BECAMEという2段階のフレームワークを導入し、勾配予測と適応的マージの専門知識を相乗化する。 我々のアプローチは、最先端のCLメソッドと既存のマージ戦略より優れています。
  論文  参考訳（メタデータ） (2025-04-03T15:07:28Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。