論文の概要: Will it Merge? On The Causes of Model Mergeability

• arxiv url: http://arxiv.org/abs/2601.06672v1
• Date: Sat, 10 Jan 2026 20:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.932101
• Title: Will it Merge? On The Causes of Model Mergeability
• Title（参考訳）: マージは可能か? モデルマージ可能性の原因について
• Authors: Adir Rahamim, Asaf Yehudai, Boaz Carmeli, Leshem Choshen, Yosi Mass, Yonatan Belinkov,
• Abstract要約: 特定のモデルが他のモデルよりもうまくマージされる理由について検討する。 私たちは、基本モデルの知識を支配的な要因として強調します。 マージ可能性の定義に基づき、簡単な重み付けマージ手法について検討する。
• 参考スコア（独自算出の注目度）: 53.26238805048332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a promising technique for combining multiple fine-tuned models into a single multitask model without retraining. However, the factors that determine whether merging will succeed or fail remain poorly understood. In this work, we investigate why specific models are merged better than others. To do so, we propose a concrete, measurable definition of mergeability. We investigate several potential causes for high or low mergeability, highlighting the base model knowledge as a dominant factor: Models fine-tuned on instances that the base model knows better are more mergeable than models fine-tuned on instances that the base model struggles with. Based on our mergeability definition, we explore a simple weighted merging technique that better preserves weak knowledge in the base model.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルを再訓練せずに単一のマルチタスクモデルに組み合わせるための有望な手法として登場した。 しかし、合併が成功するか失敗するかを決定する要因はいまだによく分かっていない。 本研究では,特定のモデルが他のモデルよりもうまくマージされる理由について検討する。 そこで本研究では,マージ可能性の具体的,測定可能な定義を提案する。 ベースモデルがよりよく知っているインスタンスに微調整されたモデルは、ベースモデルが苦労するインスタンスに微調整されたモデルよりもマージ可能である。 マージ可能性の定義に基づいて、ベースモデルにおける弱い知識をよりよく保存する単純な重み付けマージ手法について検討する。

関連論文リスト

• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。