論文の概要: When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging

• arxiv url: http://arxiv.org/abs/2602.05536v1
• Date: Thu, 05 Feb 2026 10:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.894343
• Title: When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging
• Title（参考訳）: 共有知識のハート: モデルマージにおけるスペクトル過度蓄積
• Authors: Yayuan Li, Ze Peng, Jian Zhang, Jintao Guo, Yue Duan, Yinghuan Shi,
• Abstract要約: SVC(Singular Value)は、サブスペースの重なり合いを定量化し、特異値を再スケールしてバランスの取れたスペクトルを復元するトレーニングフリーでデータフリーな後処理手法である。 SVCは、強力なマージベースラインを一貫して改善し、ビジョンと言語ベンチマーク間で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 39.696384608482255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines multiple fine-tuned models into a single model by adding their weight updates, providing a lightweight alternative to retraining. Existing methods primarily target resolving conflicts between task updates, leaving the failure mode of over-counting shared knowledge unaddressed. We show that when tasks share aligned spectral directions (i.e., overlapping singular vectors), a simple linear combination repeatedly accumulates these directions, inflating the singular values and biasing the merged model toward shared subspaces. To mitigate this issue, we propose Singular Value Calibration (SVC), a training-free and data-free post-processing method that quantifies subspace overlap and rescales inflated singular values to restore a balanced spectrum. Across vision and language benchmarks, SVC consistently improves strong merging baselines and achieves state-of-the-art performance. Furthermore, by modifying only the singular values, SVC improves the performance of Task Arithmetic by 13.0%. Code is available at: https://github.com/lyymuwu/SVC.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルを1つのモデルに統合し、ウェイトアップデートを追加し、リトレーニングの軽量な代替手段を提供する。 既存のメソッドは、主にタスク更新間の競合を解決することを目的としており、共有知識のオーバーカウントの失敗モードは未修正のままである。 タスクが整列したスペクトル方向(すなわち重なり合う特異ベクトル)を共有するとき、単純な線形結合はこれらの方向を繰り返し蓄積し、特異値を膨らませ、マージされたモデルを共有部分空間に向けてバイアスすることを示す。 この問題を緩和するために、サブスペースオーバーラップを定量化し、インフレーションされた特異値を再スケールしてバランスの取れたスペクトルを復元するトレーニングフリーでデータフリーな後処理手法であるSVC(Singular Value Calibration)を提案する。 ビジョンと言語ベンチマーク全体にわたって、SVCは一貫して強力なマージベースラインを改善し、最先端のパフォーマンスを達成する。 さらに、特異値のみを変更することにより、SVCはタスク算術の性能を13.0%向上させる。 コードは、https://github.com/lyymuwu/SVC.comで入手できる。

関連論文リスト

• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Towards Reversible Model Merging For Low-rank Weights [5.100622189286672]
  モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。 従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。 すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。 これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
  論文  参考訳（メタデータ） (2025-10-15T23:22:38Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。