論文の概要: Separating Common and Unique Directions for Model Merging

• arxiv url: http://arxiv.org/abs/2611.04108v2
• Date: Wed, 04 Nov 2026 10:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.742514
• Title: Separating Common and Unique Directions for Model Merging
• Title（参考訳）: モデルマージにおける共通方向と特異方向の分離
• Abstract要約: Common-Unique Subspace Decomposition (CUSD) は、タスクベクトルを共通かつユニークな方向コンポーネントに分離するデータフリーのプリマージ手法である。 CUSDは44のモデル-オペレータの組み合わせのうち42が改善され、対応するベースラインよりも最大22.5%改善されている。
• 参考スコア（独自算出の注目度）: 4.8679670372450525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging combines multiple fine-tuned models without additional training, and arithmetic methods have emerged as a simple yet effective way to merge models without data. However, existing arithmetic methods treat task vectors in parameter space and apply a single element-wise rule to directions that can differ in mergeability. In a shared directional basis, we find a consistent two-regime structure: a low-dispersion common bulk shared across tasks and a high-dispersion task-dominated tail that carries disproportionate energy. These findings motivate Common--Unique Subspace Decomposition (CUSD), a data-free pre-merging method that separates task vectors into common and unique directional components, merges the common components with a downstream arithmetic operator, and retains unique residuals separately. Experiments across $11$ base models, four model families, and four arithmetic-based merging operators show that CUSD improves 42 of 44 model--operator combinations and achieves up to 22.5% improvement over the corresponding baselines. Our code is publicly available at https://github.com/stwang666/CUSD
• Abstract（参考訳）: モデルマージは、追加のトレーニングなしで複数の微調整されたモデルを組み合わせており、算術法はデータなしでモデルをマージするための単純かつ効果的な方法として現れている。 しかし、既存の算術法では、パラメータ空間におけるタスクベクトルを扱い、マージ可能性が異なる方向へ単一の要素ワイズルールを適用する。 タスク間で共有される低分散の共通バルクと、不均質なエネルギーを運ぶ高分散のタスク支配のテールである。 これらの発見は、データフリーのプリマージ手法であるCommon-Unique Subspace Decomposition (CUSD) を動機付け、タスクベクトルを共通かつ一意な方向のコンポーネントに分離し、共通コンポーネントを下流演算子とマージし、ユニークな残差を個別に保持する。 11ドルのベースモデル、4つのモデルファミリ、4つの算術ベースのマージ演算子による実験では、CUSDは44のモデル-オペレータの組み合わせのうち42が改善され、対応するベースラインよりも最大22.5%改善されている。 私たちのコードはhttps://github.com/stwang666/CUSDで公開されています。

関連論文リスト

• Training-Free Transformer Merging via Sequential Local Operator Alignment [62.80152875963259]
  トレーニングフリーのモデルマージは、ラベル付きデータにさらなる最適化を加えることなく、複数の微調整されたモデルを単一のモデルに組み合わせることを目的としている。 トランスでは、クエリキーと値出力演算子が合成行列に依存するため、個々のレイヤを独立にマージすることは、共有の注意に影響を与える可能性がある。 本稿では,部分的にマージされたモデルの実行経路に沿ってトランスフォーマーをマージするトレーニングフリーな手法であるSequential Local Operator Alignmentを紹介する。
  論文  参考訳（メタデータ） (2026-10-05T14:30:28Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
  DC-Mergeは方向整合モデルマージの手法である。 各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。 ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-06T13:04:25Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。