論文の概要: Unlocking the Potential of Continual Model Merging: An ODE Perspective

• arxiv url: http://arxiv.org/abs/2605.19409v1
• Date: Tue, 19 May 2026 06:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.155556
• Title: Unlocking the Potential of Continual Model Merging: An ODE Perspective
• Title（参考訳）: 連続モデルマージの可能性の解き放つ: ODE の視点から
• Authors: Lihong Lin, Haidong Kang,
• Abstract要約: 連続モデルマージング(CMM)は、逐次到着タスク間で基礎モデルの迅速なカスタマイズを可能にする。 既存のマージルールには、以前に学習した能力と新たにマージされたモデルの間の学習能力の割り当てに関する明確な制御性がない。 本稿では,時間依存性の速度場を統合することで,CMMに適した新しいODE-driven Merging (ODE-M)を提案する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Model Merging (CMM) enables rapid customization of foundation models across sequentially arriving tasks, offering a scalable alternative to repeated retraining. However, existing merging rules lack explicit controllability over the allocation of learning capacity between previously learned capabilities and newly merged models. Consequently, as tasks are merged sequentially, this deficiency accumulates into severe forgetting, particularly in scenarios with heterogeneous task importance, where performance allocation becomes highly inconsistent. The key reason can be attributed to the fact that previous methods treat each task model as an isolated parameter point and apply fixed algebraic combinations, rather than explicitly constructing a transition that respects how independently trained models can be connected in parameter space. Motivated by mode connectivity, we assume that desirable merged models lie on low loss connecting paths, and that continual merging should follow such paths without crossing loss barriers that induce forgetting. Grounded in these insights, we propose a novel ODE-driven Merging (ODE-M) tailored for CMM that traces such a path by integrating a time-dependent velocity field and enforcing barrier constraints to prevent loss-increasing steps. Extensive experiments demonstrate that ODE-M achieves state-of-the-art performance compared to its competitors across mainstream CMM benchmarks.
• Abstract（参考訳）: 連続モデルマージ(CMM)は、逐次到着するタスク間で基礎モデルの迅速なカスタマイズを可能にし、反復的な再トレーニングに代わるスケーラブルな代替手段を提供する。 しかし、既存のマージルールには、以前に学習した能力と新たにマージされたモデルの間の学習能力の割り当てに関する明確な制御性がない。 その結果、タスクが逐次マージされるにつれて、この不足は、特に不均一なタスクが重要となるシナリオにおいて、特にパフォーマンスの割り当てが非常に矛盾するシナリオにおいて、深刻な忘れに陥る。 主要な理由は、独立に訓練されたモデルがパラメータ空間内でどのように接続できるかを明示するトランジションを構築するのではなく、従来の手法がそれぞれのタスクモデルを独立したパラメータポイントとして扱い、固定された代数的組み合わせを適用するという事実に起因している。 モード接続によるモチベーションにより、所望のマージモデルは低損失接続経路上にあり、連続的なマージは、忘れを誘発する損失障壁を渡さずにそのような経路を辿るべきであると仮定する。 これらの知見に基づいて、時間依存性の速度場を統合し、損失増加防止のために障壁制約を強制することにより、CMMに適した新しいODE-driven Merging(ODE-M)を提案する。 大規模な実験により、ODE-Mは主要なCMMベンチマークで比較すると、最先端のパフォーマンスを実現していることが示された。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Rethinking Layer-wise Model Merging through Chain of Merges [21.26982153528304]
  Chain of Merges(CoM)は、層間で重みを順次マージし、アクティベーション統計を逐次更新するレイヤワイドマージ手順である。 標準ベンチマークの実験では、CoMが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-08-29T08:44:47Z)
• Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition [0.0]
  既存のモデルマージと継続的学習へのアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。 本稿では, 拡張性, 干渉フリー, 微調整モデルの構成が可能な新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いた Modular Delta Merging を提案する。
  論文  参考訳（メタデータ） (2025-07-28T17:08:49Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。