論文の概要: Merging without Forgetting: Continual Fusion of Task-Specific Models via Optimal Transport

• arxiv url: http://arxiv.org/abs/2511.19561v1
• Date: Mon, 24 Nov 2025 15:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.097432
• Title: Merging without Forgetting: Continual Fusion of Task-Specific Models via Optimal Transport
• Title（参考訳）: 忘れることなくマージング:最適輸送によるタスク特化モデルの連続核融合
• Authors: Zecheng Pan, Zhikang Chen, Ding Li, Min Zhang, Sen Cui, Hongshuo Jin, Luqi Tao, Yi Yang, Deheng Ye, Yu Zhang, Tingting Zhu, Tianling Ren,
• Abstract要約: OTMFは最適輸送理論に根ざした新しいモデル統合フレームワークである。 従来のタスクを再考することなく、各タスクベクタを漸進的に統合する、連続的な融合パラダイムをサポートする。 我々は、複数の視覚と言語ベンチマークに関する総合的な実験を行い、OTMFが精度と効率の両面で最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 29.006391770977796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Merging models fine-tuned for different tasks into a single unified model has become an increasingly important direction for building versatile, efficient multi-task systems. Existing approaches predominantly rely on parameter interpolation in weight space, which we show introduces significant distribution shift in the feature space and undermines task-specific knowledge. In this paper, we propose OTMF (Optimal Transport-based Masked Fusion), a novel model merging framework rooted in optimal transport theory to address the distribution shift that arises from naive parameter interpolation. Instead of directly aggregating features or weights, OTMF aligns the semantic geometry of task-specific models by discovering common masks applied to task vectors through optimal transport plans. These masks selectively extract transferable and task-agnostic components while preserving the unique structural identities of each task. To ensure scalability in real-world settings, OTMF further supports a continual fusion paradigm that incrementally integrates each new task vector without revisiting previous ones, maintaining a bounded memory footprint and enabling efficient fusion across a growing number of tasks. We conduct comprehensive experiments on multiple vision and language benchmarks, and results show that OTMF achieves state-of-the-art performance in terms of both accuracy and efficiency. These findings highlight the practical and theoretical value of our approach to model merging.
• Abstract（参考訳）: 異なるタスクのために微調整されたモデルを単一の統一モデルにマージすることは、汎用的で効率的なマルチタスクシステムを構築する上で、ますます重要な方向になりつつある。 既存のアプローチは、主に重み空間におけるパラメータ補間に依存しており、特徴空間における大きな分布シフトを導入し、タスク固有の知識を損なうことを示す。 本稿では,OTMF(Optimal Transport-based Masked Fusion)を提案する。 特徴や重みを直接集約する代わりに、OTMFは最適な輸送計画を通じてタスクベクトルに適用される共通マスクを発見することでタスク固有モデルの意味幾何学を整列する。 これらのマスクは、各タスクのユニークな構造的アイデンティティを保持しながら、転送可能なコンポーネントとタスクに依存しないコンポーネントを選択的に抽出する。 現実の環境でのスケーラビリティを確保するため、OTMFはさらに、従来のタスクを再考することなく、各新しいタスクベクタを漸進的に統合し、バウンドメモリフットプリントを維持し、多くのタスクをまたいだ効率的な融合を可能にする、連続的な融合パラダイムをサポートする。 我々は、複数の視覚と言語ベンチマークに関する総合的な実験を行い、OTMFが精度と効率の両面で最先端の性能を達成することを示す。 これらの結果は,モデルマージへのアプローチの実践的,理論的価値を浮き彫りにしている。

関連論文リスト

• Parameter Aware Mamba Model for Multi-task Dense Prediction [69.94454603308196]
  本稿では,マルチタスク学習環境における高密度予測に特化して設計された,新しいデコーダベースのフレームワーク Aware Mamba Model (PAMM) を紹介する。 タスク固有のパラメータを統合および設定し、各タスクの固有の特性をキャプチャする、二重状態空間パラメータの専門家を特徴とする。 マルチディレクショナル・ヒルベルト走査法を用いて多角特徴系列を構築し、2次元データに対するシーケンスモデルの知覚能力を向上する。
  論文  参考訳（メタデータ） (2025-11-18T13:48:00Z)
• Merging Smarter, Generalizing Better: Enhancing Model Merging on OOD Data [16.462869377794316]
  マルチタスク学習(MTL)は、さまざまなタスクデータセットのモデルを同時にトレーニングして、共通の機能を利用する。 近年の研究では、複数の独立モデルパラメータをMTLの統一モデルにマージする努力が続けられている。 LwPTV (Layer-wise Pruning Task Vector) を提案する。
  論文  参考訳（メタデータ） (2025-06-10T11:34:23Z)
• Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
  Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。 既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。 マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:53:21Z)
• Every SAM Drop Counts: Embracing Semantic Priors for Multi-Modality Image Fusion and Beyond [52.486290612938895]
  本稿では,Segment Anything Model (SAM) のセグメンテーションモデルからのセグメンテーション知識を利用して,融合結果の質を向上し,下流タスク適応性を実現する手法を提案する。 具体的には、SAMから高レベルなセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アテンション(SPA)モジュールを抽出し、永続リポジトリを介してソース情報を効率的に保持する。 本手法は,実運用効率を維持しつつ,高品質な視覚結果と下流タスク適応性のバランスを実現する。
  論文  参考訳（メタデータ） (2025-03-03T06:16:31Z)
• RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
  RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。