論文の概要: Bridging Domains through Subspace-Aware Model Merging

• arxiv url: http://arxiv.org/abs/2603.05768v1
• Date: Fri, 06 Mar 2026 00:04:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.698465
• Title: Bridging Domains through Subspace-Aware Model Merging
• Title（参考訳）: サブスペース・アウェア・モデル統合によるブリッジングドメイン
• Authors: Levy Chaves, Chao Zhou, Rebekka Burkholz, Eduardo Valle, Sandra Avila,
• Abstract要約: モデルマージは複数のタスク固有のモデルを単一の統合モデルに統合する。 最近の研究は、分散やマルチタスクのシナリオにおけるマージ性能の改善に進歩している。 異なる領域に微調整されたモデルが、目に見えない領域への一般化にどのように影響するかを考察する。
• 参考スコア（独自算出の注目度）: 27.981999508897847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging integrates multiple task-specific models into a single consolidated one. Recent research has made progress in improving merging performance for in-distribution or multi-task scenarios, but domain generalization in model merging remains underexplored. We investigate how merging models fine-tuned on distinct domains affects generalization to unseen domains. Through an analysis of parameter competition in the task matrix using singular value decomposition, we show that merging models trained under different distribution shifts induces stronger conflicts between their subspaces compared to traditional multi-task settings. To mitigate this issue, we propose SCORE (Subspace COnflict-Resolving mErging), a method designed to alleviate such singular subspace conflicts. SCORE finds a shared orthogonal basis by computing the principal components of the concatenated leading singular vectors of all models. It then projects each task matrix into the shared basis, pruning off-diagonal components to remove conflicting singular directions. SCORE consistently outperforms, on average, existing model merging approaches in domain generalization settings across a variety of architectures and model scales, demonstrating its effectiveness and scalability.
• Abstract（参考訳）: モデルマージは複数のタスク固有のモデルを単一の統合モデルに統合する。 近年, マルチタスクシナリオにおけるマージ性能の向上が進んでいるが, モデルマージにおけるドメイン一般化は未検討である。 異なる領域を微調整したモデルが、目に見えない領域への一般化にどのように影響するかを考察する。 特異値分解を用いたタスク行列におけるパラメータ競合の解析により,異なる分散シフトの下で訓練されたマージモデルが,従来のマルチタスク設定と比較して,サブスペース間の強い衝突を引き起こすことを示す。 この問題を軽減するために, SCORE (Subspace Conflict-Resolving mErging) を提案する。 SCORE はすべてのモデルの連結なリード特異ベクトルの主成分を計算することによって共有直交基底を求める。 その後、各タスク行列を共有基底に射影し、対立する特異な方向を取り除くために対角成分を抜き取る。 SCOREは、さまざまなアーキテクチャやモデルスケールにわたるドメインの一般化設定において、平均的に既存のモデルマージアプローチよりも一貫して優れており、その有効性とスケーラビリティを示している。

関連論文リスト

• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。