論文の概要: A Systematic Study of Model Merging Techniques in Large Language Models

• arxiv url: http://arxiv.org/abs/2511.21437v1
• Date: Wed, 26 Nov 2025 14:28:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.142518
• Title: A Systematic Study of Model Merging Techniques in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるモデルマージ手法の体系的研究
• Authors: Oğuz Kağan Hitit, Leander Girrbach, Zeynep Akata,
• Abstract要約: モデルマージは、複数の微調整されたチェックポイントを、追加のトレーニングなしで単一のモデルに結合する。 本稿では,6つの最先端マージ手法の大規模かつ体系的な評価を行う。 その結果、最古かつ最も単純なタスク算術法は、LCMの性能向上を確実に得る唯一の方法であることがわかった。
• 参考スコア（独自算出の注目度）: 43.5967188676583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging combines multiple fine-tuned checkpoints into a single model without additional training, offering an attractive approach to reusing models and efficiently improving performance. However, it remains unclear whether the advantages reported for smaller models and classifiers generalize to LLMs. We present a large-scale, systematic evaluation of six state-of-the-art merging methods, including recent subspace methods, across four open-weight LLMs, twelve fine-tuned checkpoints per base model, and sixteen standard LLM benchmarks. Evaluating through standardized benchmarks, we measure both the probability that a merged model outperforms the base model and relative gains over the best individual checkpoint. Our results show that the oldest and simplest method, Task Arithmetic, is the only approach that reliably yields performance gains on LLMs. Other interference-aware and subspace merging methods typically result in significant performance drops. Our findings indicate that current merging techniques do not directly transfer to modern LLMs. This motivates the design of LLM-specific merging algorithms and merging-aware fine-tuning methods. Code will be released upon acceptance of this paper.
• Abstract（参考訳）: モデルマージは、複数の微調整されたチェックポイントを追加のトレーニングなしで単一のモデルに組み合わせ、モデルを再利用し、パフォーマンスを効率的に改善する魅力的なアプローチを提供する。 しかし、より小さなモデルや分類器に対して報告された利点が LLM に一般化するかどうかは不明である。 提案手法は,4つのオープンウェイトLDM,12の微調整チェックポイント,16の標準LDMベンチマークを含む,最新のサブスペース手法を含む6つの最先端マージ手法を大規模かつ体系的に評価する。 標準化されたベンチマークを用いて評価し、マージされたモデルがベースモデルを上回る確率と、最適な個別チェックポイントよりも相対的なゲインの両方を測定する。 以上の結果から,最古かつ最も単純なタスク算術法は,LCMの性能向上を確実に得る唯一の手法であることが示唆された。 他の干渉認識およびサブスペースのマージ手法は、通常、大幅な性能低下をもたらす。 以上の結果から,現在の統合技術は現在のLLMに直接移行するものではないことが示唆された。 このことは、LLM固有のマージアルゴリズムとマージ対応微調整手法の設計を動機付けている。 コードは、この論文の受理時に公開される。

関連論文リスト

• Merge and Bound: Direct Manipulations on Weights for Class Incremental Learning [39.77371020337677]
  本稿では,Merge-and-Bound (M&B) という新しい学習手法を提案する。 本アルゴリズムは, タスク間重み付けとタスク内重み付けという2種類の重み付けを含む。 提案アルゴリズムを標準CILベンチマークで広範囲に評価し,最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-26T15:24:53Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs [51.09983600916971]
  近年の研究では、線形性を示すモデルがタスク演算の性能を向上させることが示されている。 我々は、この線型性はモデルの部分加群の中にすでに存在すると論じる。 我々はこれらのサブモジュールを独立にマージする革新的なモデルマージ戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-15T06:23:24Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。