論文の概要: $α$Transfer: Coefficient Transfer for Efficient Model Merging

• arxiv url: http://arxiv.org/abs/2610.07819v1
• Date: Tue, 06 Oct 2026 06:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.839339
• Title: $α$Transfer: Coefficient Transfer for Efficient Model Merging
• Title（参考訳）: $α$Transfer: 効率的なモデルマージのための係数転送
• Abstract要約: モデルファミリ内では,モデルサイズが異なるマージ係数に対して,モデルの性能分布が極めて一致していることが示される。 この分布類似性は、textit$$Transfer: 小さなプロキシモデル上で最適な係数を探索し、それらをより大きなターゲットモデルに直接転送する、実用的なパラダイムを可能にします。
• 参考スコア（独自算出の注目度）: 68.11842528599787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging offers a promising solution for combining multiple fine-tuned checkpoints into a single model through parameter arithmetic. However, finding optimal merging coefficients requires an extensive search that becomes prohibitively expensive as models scale in both size and number, due to high memory requirements and combinatorial growth in the search space. We show that, within the same model family, models exhibit highly congruent performance distributions over merging coefficients across different model sizes. This distributional similarity enables a practical paradigm we call \textit{$α$Transfer}: searching for optimal coefficients on a small proxy model, then directly transfer them to larger target models. We verify $α$Transfer across multiple merging methods, model families, and tasks. Experimental results demonstrate a 6$\times$ speedup and 70\% memory reduction on vision transformers, and a 20$\times$ speedup and 85\% memory reduction on large language models, while maintaining comparable performance. Our findings establish $α$Transfer as an efficient and generalizable approach to scaling model merging.
• Abstract（参考訳）: モデルマージは、パラメータ演算によって複数の微調整されたチェックポイントを単一のモデルに結合する、有望なソリューションを提供する。 しかし、最適なマージ係数を見つけるには、モデルのサイズと数の両方がスケールするにつれて、探索空間における高いメモリ要求と組合せ的な成長のために、広範囲な探索が必要である。 モデルファミリ内では,モデルサイズが異なるマージ係数に対して,モデルの性能分布が極めて一致していることが示される。 この分布的類似性は、我々が \textit{$α$Transfer} と呼ぶ実用的なパラダイムを可能にし、小さなプロキシモデル上で最適な係数を探索し、それらをより大きなターゲットモデルへ直接転送する。 複数のマージメソッド、モデルファミリー、タスクにわたって$α$Transferを検証する。 実験の結果、視覚変換器では6$\times$のスピードアップと70$%のメモリ削減、大きな言語モデルでは20$\times$のスピードアップと85\%のメモリ削減が、同等のパフォーマンスを維持しながら示された。 この結果から,$α$Transfer がモデルマージの効率的かつ一般化可能なアプローチとして確立された。

関連論文リスト

• Navigating the Accuracy-Size Trade-Off with Flexible Model Merging [15.497612580389479]
  我々は、新しいデータフリーモデルマージフレームワークFlexMergeを提案する。 異なる大きさのマージモデルを柔軟に生成し、単一のマージモデルから完全なスペクトルにまたがり、すべての微調整モデルを保持する。 FlexMergeを使って、異なるアルゴリズムの精度と大きさのトレードオフを体系的に特徴づける。
  論文  参考訳（メタデータ） (2025-05-29T07:50:32Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
  モデルマージは、複数のタスク固有のモデルを統合モデルに統合し、タスク固有のモデルの能力を継承することを目的としている。 既存のモデルマージ手法は、最終的なマージモデルに対する異なるタスク固有モデルの寄与率の違いを考慮していないことが多い。 そこで我々はMixup Model Merge(M3)を提案する。これはMixupデータ拡張手法のランダム化線形戦略に着想を得た単純で効果的な手法である。
  論文  参考訳（メタデータ） (2025-02-21T13:01:26Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• Pareto Merging: Multi-Objective Optimization for Preference-Aware Model Merging [11.186194228460273]
  本稿では,各ベースモデルのタスク上でのマージモデルの性能を目的として扱う,嗜好意識のモデルマージ問題を提案する。 提案したモデルマージにより,多様なトレードオフモデルが生成され,最先端のマージベースラインと比較して高いテスト精度が得られることを示す。
  論文  参考訳（メタデータ） (2024-08-22T03:41:14Z)
• PLeaS -- Merging Models with Permutations and Least Squares [43.17620198572947]
  PLeaSと呼ばれるモデルをマージする2段階の新たなアルゴリズムを提案し、制約を緩和する。 PLeaSはアライメントを最大化することで各層のノードに部分的にマッチする。 また、細調整されたドメインからデータを入手できないという難題に対処するために、我々のメソッドをどのように拡張できるかを実証する。
  論文  参考訳（メタデータ） (2024-07-02T17:24:04Z)
• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。