論文の概要: CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging

• arxiv url: http://arxiv.org/abs/2505.06977v2
• Date: Wed, 14 May 2025 14:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 13:24:43.897222
• Title: CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging
• Title（参考訳）: CAT Merging: モデルマージにおける競合を解決するためのトレーニング不要アプローチ
• Authors: Wenju Sun, Qingyong Li, Yangli-ao Geng, Boyang Li,
• Abstract要約: マルチタスクモデルの統合は、追加のトレーニングなしで複数のエキスパートモデルを統一モデルに統合するための有望なパラダイムを提供する。 本稿では,タスクベクトルから競合要因を選択的にトリムするトレーニングフリーフレームワークであるConflict-Aware Task Mergingを提案する。 視覚、言語、視覚言語タスクの実験では、CATメルジングが知識の衝突を効果的に抑制し、平均精度を最大2.5%向上させることが示されている。
• 参考スコア（独自算出の注目度）: 10.386229962375548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task model merging offers a promising paradigm for integrating multiple expert models into a unified model without additional training. Existing state-of-the-art techniques, such as Task Arithmetic and its variants, merge models by accumulating task vectors -- the parameter differences between pretrained and finetuned models. However, task vector accumulation is often hindered by knowledge conflicts, leading to performance degradation. To address this challenge, we propose Conflict-Aware Task Merging (CAT Merging), a novel training-free framework that selectively trims conflict-prone components from the task vectors. CAT Merging introduces several parameter-specific strategies, including projection for linear weights and masking for scaling and shifting parameters in normalization layers. Extensive experiments on vision, language, and vision-language tasks demonstrate that CAT Merging effectively suppresses knowledge conflicts, achieving average accuracy improvements of up to 2.5% (ViT-B/32) and 2.0% (ViT-L/14) over state-of-the-art methods.
• Abstract（参考訳）: マルチタスクモデルの統合は、追加のトレーニングなしで複数のエキスパートモデルを統一モデルに統合するための有望なパラダイムを提供する。 Task Arithmeticとその変種のような既存の最先端技術では、タスクベクトルを蓄積することでモデルをマージする -- 事前訓練されたモデルと微調整されたモデルの間のパラメータの違い。 しかし、タスクベクトルの蓄積は知識の衝突によってしばしば妨げられ、性能が低下する。 この課題に対処するため,タスクベクトルから競合に起因したコンポーネントを選択的にトリムする新しいトレーニングフリーフレームワークであるConflict-Aware Task Merging (CAT Merging)を提案する。 CAT Mergingは、線形重みの投影や、正規化層におけるパラメータのスケーリングとシフトのためのマスキングなど、パラメータ固有の戦略をいくつか導入している。 ビジョン、言語、視覚言語タスクに関する広範な実験により、CATメルギングは知識の衝突を効果的に抑制し、最先端の手法よりも平均精度を2.5%(ViT-B/32)と2.0%(ViT-L/14)に向上することを示した。

関連論文リスト

• Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
  マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。 Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。 本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:09:56Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。