論文の概要: Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning
- arxiv url: http://arxiv.org/abs/2605.08311v1
- Date: Fri, 08 May 2026 14:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.557159
- Title: Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning
- Title（参考訳）: 学習開始の活性化:連続学習におけるモデルマージのためのストレージ依存回避
- Abstract要約: Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。
本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
- 参考スコア（独自算出の注目度）: 57.10440766103372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging provides a compelling paradigm for integrating specialized expertise into a unified multi-task model, a goal that aligns naturally with the sequential knowledge acquisition in continual learning (CL). However, the requirement for preserving diverse forms of previous knowledge conflicts with the storage limitations inherent to CL. In this paper, we systematically analyze existing model merging methods under the constraints of CL. We find that current methods prioritize global alignment, which often leads to the accumulation and amplification of task-specific errors within the continuous data stream; and the vanishing gradients at the onset of subsequent tasks frequently cause optimization to stagnate. These leave the merged model in a suboptimal state at the beginning of the next training phase. To address these challenges, we propose Trajectory Regularized Merging (TRM), a framework that reformulates the merging phase as an optimization process within an augmented trajectory subspace. Our framework integrates three synergistic objectives including task alignment, prediction consistency, and gradient responsiveness to concurrently preserve merged model's historical stability and re-activate optimization dynamics. Extensive experimental results demonstrate that our method achieves state-of-the-art performance across multiple benchmarks.
- Abstract（参考訳）: モデルマージは、専門知識を統一されたマルチタスクモデルに統合するための魅力的なパラダイムを提供する。
しかし、過去の知識の様々な形態を保存するための要件は、CL固有の記憶制限と矛盾する。
本稿では,CLの制約下で既存のモデルマージ手法を体系的に解析する。
現在の手法はグローバルアライメントを優先しており、連続データストリーム内のタスク固有のエラーの蓄積と増幅につながることが多い。
これらは、マージされたモデルを次のトレーニングフェーズの開始時に最適以下の状態に置きます。
これらの課題に対処するために,拡張トラジェクトリサブ空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークであるトラジェクトリ正規化マージ(TRM)を提案する。
本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
大規模な実験結果から,本手法は複数のベンチマークにおいて最先端性能を実現することが示された。
関連論文リスト
- To Retain or to Adapt? Generalizing Continual Learning [39.95178050304739]
我々は、静止しない環境において、保持の優先順位付けはリアルタイム適応を妨げると論じている。
環境学と学習学の相互作用が支配するオンライン最適化問題としてCLを定式化する。
本稿では,予測連続学習と呼ぶ連続学習アルゴリズムの一般クラスを提案する。
論文 参考訳（メタデータ） (2026-07-06T20:11:53Z) - Saliency-Aware Model Merging [47.65036144170475]
モデルマージは、異なるデータセットに微調整された複数のタスク固有のモデルを、ドメイン間の習熟性を実行する統一アーキテクチャに統合することを目的としている。
現在のデータフリーモデルマージ手法は、層間依存関係や一様でない専門知識の分布を無視した単純なパラメータレベルに依存するため、スケールアップに苦労することが多い。
この研究は、構造的なプルーニング(SynFlowなど)から接続ベースのサリエンシの定式化に基づいて構築され、それらをデータフリーモデルマージ設定に拡張するSA-Mergingを提案する。
論文 参考訳（メタデータ） (2026-05-30T04:00:44Z) - Unlocking the Potential of Continual Model Merging: An ODE Perspective [0.42970700836450487]
CMM(Continuous Model Merging)は、反復的な再トレーニングなしにタスク適応モデルを順次組み込むことで、基礎モデルの迅速なカスタマイズを可能にする。
本稿では, 1ステップのエンドポイント更新ではなく, パラメータ空間の軌跡として各マージを定式化する,制御可能なフレームワークODE-Mを提案する。
論文 参考訳（メタデータ） (2026-05-19T06:03:20Z) - Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。
マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
論文 参考訳（メタデータ） (2025-05-30T20:52:21Z) - Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。
提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-05-28T14:14:19Z) - BECAME: BayEsian Continual Learning with Adaptive Model MErging [21.642774366793997]
BECAMEという2段階のフレームワークを導入し、勾配予測と適応的マージの専門知識を相乗化する。
我々のアプローチは、最先端のCLメソッドと既存のマージ戦略より優れています。
論文 参考訳（メタデータ） (2025-04-03T15:07:28Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。
実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文 参考訳（メタデータ） (2024-11-18T08:20:21Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。