論文の概要: Towards Reversible Model Merging For Low-rank Weights

• arxiv url: http://arxiv.org/abs/2510.14163v1
• Date: Wed, 15 Oct 2025 23:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.652488
• Title: Towards Reversible Model Merging For Low-rank Weights
• Title（参考訳）: 低ランクウェイトに対する可逆モデルマージに向けて
• Authors: Mohammadsajad Alipour, Mohammad Mohammadi Amiri,
• Abstract要約: モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。 従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。 すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。 これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
• 参考スコア（独自算出の注目度）: 5.100622189286672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging aims to combine multiple fine-tuned models into a single set of weights that performs well across all source tasks. While prior work has shown that merging can approximate the performance of individual fine-tuned models for each task, it largely overlooks scenarios where models are compressed into low-rank representations, either through low-rank adaptation (LoRA) or post-training singular value decomposition (SVD). We first demonstrate that applying conventional merging methods to low-rank weights leads to severe performance degradation in the merged model. Motivated by this phenomenon, we propose a fundamentally different approach: instead of collapsing all adapters into one set of weights, we construct a compact basis (e.g., an equivalent of holding two or more models) from which original task-specific models can be recovered via linear combination. This reframes merging as generating a reconstruction-capable model space rather than producing a single merged model. Crucially, this allows us to ``revert'' to each individual model when needed, recognizing that no merged model can consistently outperform one specialized for its task. Building on this insight, we introduce our method, Reversible Model Merging (RMM), an efficient, data-free, and flexible method that provides a closed-form solution for selecting the optimal basis of model weights and task-specific coefficients for linear combination. Extensive experiments across diverse datasets and model scales demonstrate that RMM consistently outperforms existing merging approaches, preserving the performance of low-rank compressed models by a significant margin.
• Abstract（参考訳）: モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。 先行研究では、各タスク毎の個々の微調整モデルの性能を近似できることを示したが、ローランク適応(LoRA)またはポストトレーニング後の特異値分解(SVD)によってモデルが低ランク表現に圧縮されるシナリオを概ね見落としている。 まず, 従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示した。 この現象に動機づけられた我々は、全てのアダプタを1組の重みに分解する代わりに、元のタスク固有のモデルを線形結合で復元できるコンパクト基底(例えば、2つ以上のモデルを保持することと同値)を構築するという、根本的に異なるアプローチを提案する。 これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。 これは、マージされたモデルがそのタスクに特化しているモデルを一貫して上回らないことを認識して、必要に応じて個々のモデルに ‘revert’ することを可能にする。 この知見に基づいて、モデル重みの最適基底と線形結合のためのタスク固有係数を選択するためのクローズドフォームソリューションであるReversible Model Merging (RMM)を導入する。 多様なデータセットとモデルスケールにわたる大規模な実験により、RMMは既存のマージアプローチを一貫して上回り、低ランク圧縮モデルの性能をかなりのマージンで維持することを示した。

関連論文リスト

• Navigating the Accuracy-Size Trade-Off with Flexible Model Merging [16.936134010292232]
  我々は、新しいデータフリーモデルマージフレームワークFlexMergeを提案する。 比較的大きなマージモデルであっても、単一のモデルよりもかなり精度が向上できることが示される。 FlexMergeは、融合モデルサイズのきめ細かい制御を提供することで、柔軟でデータフリーで高性能なソリューションを提供します。
  論文  参考訳（メタデータ） (2025-05-29T07:50:32Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
  モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。 本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。 このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
  論文  参考訳（メタデータ） (2024-10-18T11:49:40Z)
• PLeaS -- Merging Models with Permutations and Least Squares [43.17620198572947]
  PLeaSと呼ばれるモデルをマージする2段階の新たなアルゴリズムを提案し、制約を緩和する。 PLeaSはアライメントを最大化することで各層のノードに部分的にマッチする。 また、細調整されたドメインからデータを入手できないという難題に対処するために、我々のメソッドをどのように拡張できるかを実証する。
  論文  参考訳（メタデータ） (2024-07-02T17:24:04Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。