論文の概要: Demystifying Mergeability: Interpretable Properties to Predict Model Merging Success

• arxiv url: http://arxiv.org/abs/2601.22285v2
• Date: Mon, 02 Feb 2026 07:07:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 15:03:50.80128
• Title: Demystifying Mergeability: Interpretable Properties to Predict Model Merging Success
• Title（参考訳）: Demystifying Mergeability: モデルマージの成功を予測するための解釈可能な特性
• Authors: Luca Zhou, Bo Zhao, Rose Yu, Emanuele Rodolà,
• Abstract要約: 我々は、マージ可能性は、マージ方法とパートナータスクの両方に依存することを示した。 サブスペースオーバーラップと勾配アライメントのメトリクスは、互換性のための基礎的でメソッドに依存しない前提条件として一貫して現れます。
• 参考スコア（独自算出の注目度）: 38.83204055382625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines knowledge from separately fine-tuned models, yet success factors remain poorly understood. While recent work treats mergeability as an intrinsic property, we show with an architecture-agnostic framework that it fundamentally depends on both the merging method and the partner tasks. Using linear optimization over a set of interpretable pairwise metrics (e.g., gradient L2 distance), we uncover properties correlating with post-merge performance across four merging methods. We find substantial variation in success drivers (46.7% metric overlap; 55.3% sign agreement), revealing method-specific "fingerprints". Crucially, however, subspace overlap and gradient alignment metrics consistently emerge as foundational, method-agnostic prerequisites for compatibility. These findings provide a diagnostic foundation for understanding mergeability and motivate future fine-tuning strategies that explicitly encourage these properties.
• Abstract（参考訳）: モデルマージは、個別に調整されたモデルからの知識を組み合わせるが、成功要因はよく分かっていない。 最近の研究は、マージ可能性を本質的な性質として扱う一方で、マージメソッドとパートナタスクの両方に基本的に依存するアーキテクチャに依存しないフレームワークで示しています。 解釈可能なペアワイド測度(例えば、勾配L2距離)の集合に対する線形最適化を用いて、4つのマージ法間でのマージ後の性能に関連する特性を明らかにする。 成功ドライバのかなりのバリエーション(46.7%のオーバーラップ、55.3%のサインアグリーメント)は、メソッド固有の"フィンガープリント"を明らかにしている。 しかし、重要なことに、部分空間のオーバーラップと勾配のアライメントのメトリクスは、互換性のための基礎的でメソッドに依存しない前提条件として一貫して現れている。 これらの知見は、統合可能性を理解し、これらの特性を明確に奨励する将来の微調整戦略を動機付けるための診断基盤を提供する。

関連論文リスト

• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [14.503741632243646]
  マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。 既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。 本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
  論文  参考訳（メタデータ） (2025-05-29T08:11:31Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning [35.5851523517487]
  2視点対応学習は通常、一致の信頼性と相対的なポーズを共同で予測するエンドツーエンドネットワークを確立する。 本稿では,既存のモデルの特徴を増強するローカル・フィーチャー・コンセンサス (LFC) プラグイン・ブロックを提案する。 我々は既存のモデルを相互予測の監督を生かした相互損失を伴うシームズネットワークに拡張する。
  論文  参考訳（メタデータ） (2023-08-06T22:20:09Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。