論文の概要: Resolving Interference (RI): Disentangling Models for Improved Model Merging

• arxiv url: http://arxiv.org/abs/2603.13467v1
• Date: Fri, 13 Mar 2026 17:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.232618
• Title: Resolving Interference (RI): Disentangling Models for Improved Model Merging
• Title（参考訳）: Resolving Interference (RI): 改良されたモデルマージのための解離モデル
• Authors: Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman,
• Abstract要約: クロスタスク干渉は、その構成モデルに対するマージモデルの表現におけるドリフトである。 本稿では、他のタスクの空間に直交する機能を持つように専門家モデルを切り離す軽量適応フレームワークであるResolving Interference(RI)を提案する。 RIは、最先端のマージ手法の性能を最大3.8%改善し、未確認領域への一般化を最大2.3%改善している。
• 参考スコア（独自算出の注目度）: 33.55896784776345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has shown that multitask models can be created by directly combining the parameters of different models that are each specialized on tasks of interest. However, models trained independently on distinct tasks often exhibit interference that degrades the merged model's performance. To solve this problem, we formally define the notion of Cross-Task Interference as the drift in the representation of the merged model relative to its constituent models. Reducing cross-task interference is key to improving merging performance. To address this issue, we propose our method, Resolving Interference (RI), a light-weight adaptation framework which disentangles expert models to be functionally orthogonal to the space of other tasks, thereby reducing cross-task interference. RI does this whilst using only unlabeled auxiliary data as input (i.e., no task-data is needed), allowing it to be applied in data-scarce scenarios. RI consistently improves the performance of state-of-the-art merging methods by up to 3.8% and generalization to unseen domains by up to 2.3%. We also find RI to be robust to the source of auxiliary input while being significantly less sensitive to tuning of merging hyperparameters. Our codebase is available at: https://github.com/pramesh39/resolving_interference
• Abstract（参考訳）: モデルマージは、それぞれが興味のあるタスクに特化している異なるモデルのパラメータを直接組み合わせることで、マルチタスクモデルを作成することができることを示した。 しかし、独立したタスクで訓練されたモデルは、しばしばマージされたモデルの性能を低下させる干渉を示す。 この問題を解決するために、我々はクロスタスク干渉の概念を、その構成モデルに対する統合モデルの表現におけるドリフトとして正式に定義する。 タスク間の干渉を減らすことが、マージ性能を改善する鍵となる。 この問題に対処するため,提案手法であるResolving Interference (RI)を提案する。 RIは、未ラベルの補助データのみを入力として使用する(すなわち、タスクデータを必要としない)ため、データスカースシナリオに適用することができる。 RIは、最先端のマージ手法の性能を最大3.8%改善し、未確認領域を最大2.3%向上させる。 また、RIは補助入力の源泉に対して頑健であり、ハイパーパラメータの調整にはかなり敏感でないことも見出した。 私たちのコードベースは、https://github.com/pramesh39/resolving_interferenceで利用可能です。

関連論文リスト

• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
  RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。