論文の概要: Will it Merge? On The Causes of Model Mergeability

• arxiv url: http://arxiv.org/abs/2601.06672v1
• Date: Sat, 10 Jan 2026 20:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.932101
• Title: Will it Merge? On The Causes of Model Mergeability
• Title（参考訳）: マージは可能か? モデルマージ可能性の原因について
• Authors: Adir Rahamim, Asaf Yehudai, Boaz Carmeli, Leshem Choshen, Yosi Mass, Yonatan Belinkov,
• Abstract要約: 特定のモデルが他のモデルよりもうまくマージされる理由について検討する。 私たちは、基本モデルの知識を支配的な要因として強調します。 マージ可能性の定義に基づき、簡単な重み付けマージ手法について検討する。
• 参考スコア（独自算出の注目度）: 53.26238805048332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a promising technique for combining multiple fine-tuned models into a single multitask model without retraining. However, the factors that determine whether merging will succeed or fail remain poorly understood. In this work, we investigate why specific models are merged better than others. To do so, we propose a concrete, measurable definition of mergeability. We investigate several potential causes for high or low mergeability, highlighting the base model knowledge as a dominant factor: Models fine-tuned on instances that the base model knows better are more mergeable than models fine-tuned on instances that the base model struggles with. Based on our mergeability definition, we explore a simple weighted merging technique that better preserves weak knowledge in the base model.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルを再訓練せずに単一のマルチタスクモデルに組み合わせるための有望な手法として登場した。 しかし、合併が成功するか失敗するかを決定する要因はいまだによく分かっていない。 本研究では,特定のモデルが他のモデルよりもうまくマージされる理由について検討する。 そこで本研究では,マージ可能性の具体的,測定可能な定義を提案する。 ベースモデルがよりよく知っているインスタンスに微調整されたモデルは、ベースモデルが苦労するインスタンスに微調整されたモデルよりもマージ可能である。 マージ可能性の定義に基づいて、ベースモデルにおける弱い知識をよりよく保存する単純な重み付けマージ手法について検討する。

関連論文リスト

• Towards Reversible Model Merging For Low-rank Weights [5.100622189286672]
  モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。 従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。 すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。 これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
  論文  参考訳（メタデータ） (2025-10-15T23:22:38Z)
• Model Unmerging: Making Your Models Unmergeable for Secure Model Sharing [47.204542615541364]
  無許可のマージは、開発者の権利を侵害し、機密個人情報を漏洩するリスクを負う可能性がある。 本稿では,モデルパラメータを乱してマージ不能にするアクティブプロテクション機構であるMergeLockを提案する。 MergeLockは、保護されたモデルに関わる場合、マージされたモデルの性能を95%以上低下させることができる。
  論文  参考訳（メタデータ） (2025-09-01T15:24:41Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。