論文の概要: Unlocking the Potential of Continual Model Merging: An ODE Perspective

• arxiv url: http://arxiv.org/abs/2605.19409v3
• Date: Sat, 23 May 2026 16:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 16:32:37.748657
• Title: Unlocking the Potential of Continual Model Merging: An ODE Perspective
• Title（参考訳）: 連続モデルマージの可能性の解き放つ: ODE の視点から
• Authors: Lihong Lin, Haidong Kang,
• Abstract要約: CMM(Continuous Model Merging)は、反復的な再トレーニングなしにタスク適応モデルを順次組み込むことで、基礎モデルの迅速なカスタマイズを可能にする。 本稿では, 1ステップのエンドポイント更新ではなく, パラメータ空間の軌跡として各マージを定式化する,制御可能なフレームワークODE-Mを提案する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Model Merging (CMM) enables rapid customization of foundation models by sequentially incorporating task-adapted models without repeated retraining. However, existing merging rules usually update the deployed model through fixed algebraic or projection-based operations, providing limited control over how much previously accumulated knowledge should be retained relative to the incoming task model. This limitation leads to unstable retention and performance degradation in long task streams, and becomes more pronounced when tasks have heterogeneous utilities. We propose ODE-driven Merging (ODE-M), a controllable framework that formulates each continual merge as a trajectory in parameter space rather than a one-step endpoint update. Motivated by mode connectivity, ODE-M constructs a barrier-aware trajectory using a rectified time-dependent velocity field, where lightweight first-order feedback from a small calibration set suppresses loss-increasing motion while preserving progress toward the incoming model. The next merged model is then obtained by selecting an operating point along this trajectory through a utility-aware time schedule, providing an explicit mechanism for balancing retained historical knowledge and incoming task expertise. Extensive experiments on standard CMM benchmarks show that ODE-M consistently improves over strong continual merging baselines across CLIP ViT backbones, stream lengths, and heterogeneous task-utility settings.
• Abstract（参考訳）: CMM(Continuous Model Merging)は、反復的な再トレーニングなしにタスク適応モデルを順次組み込むことで、基礎モデルの迅速なカスタマイズを可能にする。 しかし、既存のマージルールは通常、固定された代数的または射影的操作を通じてデプロイされたモデルを更新する。 この制限は、長いタスクストリームで不安定な保持とパフォーマンスの低下をもたらし、タスクが不均一なユーティリティを持つ場合、より顕著になる。 本稿では, 1ステップのエンドポイント更新ではなく, パラメータ空間における各連続的なマージを軌跡として定式化するための, ODE-driven Merging (ODE-M) を提案する。 モード接続によりモチベーションされたODE-Mは、補正時間依存速度場を用いてバリア対応軌道を構築し、小さなキャリブレーションセットからの軽量な1次フィードバックは、入ってくるモデルへの進捗を保ちながら損失増加運動を抑制する。 次に、この軌道に沿った動作点を実用性を考慮した時間スケジュールで選択し、保持された履歴知識と受信タスクの専門知識のバランスをとるための明確なメカニズムを提供する。 標準CMMベンチマークでの大規模な実験により、ODE-MはCLIP ViTバックボーン、ストリーム長、および不均一なタスクユーティリティ設定を含む強力な連続的なマージベースラインよりも一貫して改善されている。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Rethinking Layer-wise Model Merging through Chain of Merges [21.26982153528304]
  Chain of Merges(CoM)は、層間で重みを順次マージし、アクティベーション統計を逐次更新するレイヤワイドマージ手順である。 標準ベンチマークの実験では、CoMが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-08-29T08:44:47Z)
• Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition [0.0]
  既存のモデルマージと継続的学習へのアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。 本稿では, 拡張性, 干渉フリー, 微調整モデルの構成が可能な新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いた Modular Delta Merging を提案する。
  論文  参考訳（メタデータ） (2025-07-28T17:08:49Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。