論文の概要: Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition

• arxiv url: http://arxiv.org/abs/2507.20997v1
• Date: Mon, 28 Jul 2025 17:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.219351
• Title: Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition
• Title（参考訳）: 直交制約によるモジュールデルタの融合:連続的および可逆的モデル構成のためのスケーラブルなフレームワーク
• Authors: Haris Khan, Shumaila Asif, Sadia Asif,
• Abstract要約: 既存のモデルマージと継続的学習へのアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。 本稿では, 拡張性, 干渉フリー, 微調整モデルの構成が可能な新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いた Modular Delta Merging を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In real-world machine learning deployments, models must be continually updated, composed, and when required, selectively undone. However, existing approaches to model merging and continual learning often suffer from task interference, catastrophic forgetting, or lack of reversibility. We propose Modular Delta Merging with Orthogonal Constraints (MDM-OC), a novel framework that enables scalable, interference-free, and reversible composition of fine-tuned models. Each task-specific model is encoded as a delta from a shared base and projected into an orthogonal subspace to eliminate conflict. These projected deltas are then merged via gradient-based optimization to form a unified model that retains performance across tasks. Our approach supports continual integration of new models, structured unmerging for compliance such as GDPR requirements, and model stability via elastic weight consolidation and synthetic replay. Extensive experiments on vision and natural language processing benchmarks demonstrate that MDM-OC outperforms prior baselines in accuracy, backward transfer, and unmerge fidelity, while remaining memory-efficient and computationally tractable. This framework offers a principled solution for modular and compliant AI system design.
• Abstract（参考訳）: 実世界の機械学習デプロイメントでは、モデルを継続的に更新し、構成し、必要であれば選択的に削除する必要がある。 しかし、モデルマージと継続的学習への既存のアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。 我々は, スケーラブルで干渉のない, 可逆な微調整モデルの合成を可能にする新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いたModular Delta Mergingを提案する。 各タスク固有のモデルは、共有ベースからデルタとして符号化され、競合を排除するために直交部分空間に投影される。 これらの投影されたデルタは、勾配に基づく最適化によってマージされ、タスク間のパフォーマンスを維持する統一モデルを形成する。 提案手法は,新しいモデルの連続的な統合,GDPR要求等のコンプライアンスのための構造化アンマージ,弾性重み付けと合成再生によるモデルの安定性をサポートする。 ビジョンと自然言語処理ベンチマークの広範囲な実験により、MDM-OCはメモリ効率と計算処理性を維持しながら、精度、後方転送、およびアンマージ忠実性において以前のベースラインよりも優れていたことが示されている。 このフレームワークは、モジュール化されたAIシステム設計のための原則化されたソリューションを提供する。

関連論文リスト

• EDELINE: Enhancing Memory in Diffusion-based World Models via Linear-Time Sequence Modeling [8.250616459360684]
  EDELINEは、状態空間モデルと拡散モデルを統合する統一世界モデルアーキテクチャである。 我々のアプローチは、視覚的に困難なAtari 100kタスク、メモリ要求ベンチマーク、3DファーストパーソンのViZDoom環境において、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2025-02-01T15:49:59Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Training-free Heterogeneous Model Merging [40.681362819808136]
  異種モデル用に設計された革新的なモデルマージフレームワークを提案する。 構造的に不均一なモデルのマージは、均質なマージに匹敵する性能レベルを達成することができることを示す。 私たちのコードはhttps://github.com/zju-vipa/training_free_heterogeneous_model_mergingで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T04:49:11Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Surrogate Modeling for Physical Systems with Preserved Properties and Adjustable Tradeoffs [0.0]
  代理モデルを生成するためのモデルベースおよびデータ駆動型戦略を提案する。 後者は、前提となる位相構造に人工的関係を組み込むことで解釈可能な代理モデルを生成する。 我々のフレームワークは、分散パラメータモデルのための様々な空間離散化スキームと互換性がある。
  論文  参考訳（メタデータ） (2022-02-02T17:07:02Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。