論文の概要: Subspace-Boosted Model Merging

• arxiv url: http://arxiv.org/abs/2506.16506v1
• Date: Thu, 19 Jun 2025 17:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.205849
• Title: Subspace-Boosted Model Merging
• Title（参考訳）: サブスペースブーストモデルマージ
• Authors: Ronald Skorobogat, Karsten Roth, Mariana-Iuliana Georgescu, Zeynep Akata,
• Abstract要約: Subspace Boostingは、最大20のエキスパートモデルのマージ効率を、ビジョンベンチマークで評価した場合、10%以上の大きなマージンで向上させる。 本稿では,高次一般化特異値分解を用いてタスク類似性をさらに定量化し,モデルマージに対する新たな解釈可能な視点を提供する。
• 参考スコア（独自算出の注目度）: 58.91954429274813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging enables the combination of multiple specialized expert models into a single model capable of performing multiple tasks. However, the benefits of merging an increasing amount of specialized experts generally lead to diminishing returns and reduced overall performance gains. In this work, we offer an explanation and analysis from a task arithmetic perspective; revealing that as the merging process (across numerous existing merging methods) continues for more and more experts, the associated task vector space experiences rank collapse. To mitigate this issue, we introduce Subspace Boosting, which operates on the singular value decomposed task vector space and maintains task vector ranks. Subspace Boosting raises merging efficacy for up to 20 expert models by large margins of more than 10% when evaluated on vision benchmarks. Moreover, we propose employing Higher-Order Generalized Singular Value Decomposition to further quantify task similarity, offering a new interpretable perspective on model merging.
• Abstract（参考訳）: モデルマージにより、複数の専門的な専門家モデルを複数のタスクを実行することができる単一のモデルに組み合わせることができる。 しかし、専門専門家の数の増大によるメリットは、一般的にリターンの減少と全体的なパフォーマンス向上の減少につながる。 本研究は,タスク算術的視点からの説明と解析を行い,統合プロセス(既存のマージ手法全体)が多くの専門家にとって継続するにつれて,関連するタスクベクトル空間の経験が崩壊することを示す。 この問題を軽減するために,タスクベクトル空間の特異値の分解とタスクベクトルランクの維持を行うSubspace Boostingを導入する。 Subspace Boostingは、最大20のエキスパートモデルのマージ効率を、ビジョンベンチマークで評価した場合、10%以上の大きなマージンで向上させる。 さらに,高次一般化特異値分解を用いてタスク類似性をさらに定量化し,モデルマージに対する新たな解釈可能な視点を提供する。

関連論文リスト

• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [15.383220675351076]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• No Task Left Behind: Isotropic Model Merging with Common and Task-Specific Subspaces [17.69597528370121]
  モデルマージは、複数のタスク固有のモデルの重みを単一のマルチタスクモデルに統合する。 この問題に対する最近の関心にもかかわらず、シングルタスクモデルと組み合わせたモデルの間には大きなパフォーマンスギャップが残っている。 タスク固有成分とマージ行列の特異成分のアライメントは,性能改善と強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-02-07T14:22:56Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。