論文の概要: Fine-Grained Model Merging via Modular Expert Recombination

• arxiv url: http://arxiv.org/abs/2602.06552v1
• Date: Fri, 06 Feb 2026 09:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.333899
• Title: Fine-Grained Model Merging via Modular Expert Recombination
• Title（参考訳）: モジュラーエキスパート組換えによるファイングラインドモデルマージ
• Authors: Haiyun Qiu, Xingyu Wu, Liang Feng, Kay Chen Tan,
• Abstract要約: 本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
• 参考スコア（独自算出の注目度）: 33.253051407398836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging constructs versatile models by integrating task-specific models without requiring labeled data or expensive joint retraining. Although recent methods improve adaptability to heterogeneous tasks by generating customized merged models for each instance, they face two critical limitations. First, the instance-specific merged models lack reusability, restricting the exploitation of high-quality merging configurations and efficient batch inference. Second, these methods treat each task-specific model as a monolithic whole, overlooking the diverse mergeability of homologous components such as attention and multilayer perceptron layers, and the differing merging sensitivities across components. To address these limitations, we propose MERGE (\underline{M}odular \underline{E}xpert \underline{R}ecombination for fine-\underline{G}rained m\underline{E}rging), a method that enables component-wise model merging and input-aware, on-demand module recombination at inference. MERGE formulates component-wise merging as a bi-objective optimization problem that balances cross-task performance and storage efficiency, and develops a surrogate-assisted evolutionary algorithm to efficiently identify Pareto-optimal merging configurations. These high-quality configurations underpin a reusable modular expert library, from which a lightweight routing network dynamically activates and recombines modular experts to assemble input-specific models and enable efficient inference under storage constraints. Extensive experiments across various model scales, task types, and fine-tuning strategies demonstrate that MERGE consistently outperforms strong baselines and generalizes effectively.
• Abstract（参考訳）: モデルマージは、ラベル付きデータや高価な共同トレーニングを必要とせず、タスク固有のモデルを統合することで、汎用モデルを構築する。 最近の手法では、インスタンスごとにカスタマイズされたマージモデルを生成することで、異種タスクへの適応性が向上するが、2つの重要な制限に直面している。 まず、インスタンス固有のマージモデルには再利用性がなく、高品質なマージ構成の活用と効率的なバッチ推論が制限されている。 第2に、これらの手法は、各タスク固有モデルをモノリシックな全体として扱い、注目層や多層パーセプトロン層などのホモロジー成分の多様なマージ可能性や、コンポーネント間のマージ感度の違いを見越す。 これらの制約に対処するため,MERGE (\underline{M}odular \underline{E}xpert \underline{R}ecombination for fine-\underline{G}rained m\underline{E}rging)を提案する。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双目的最適化問題としてコンポーネントワイズマージを定式化し、パレート最適マージ構成を効率的に識別するための代理支援進化アルゴリズムを開発した。 軽量ルーティングネットワークはモジュールの専門家を動的に活性化して再結合し、入力固有のモデルを組み立て、ストレージ制約下で効率的な推論を可能にする。 様々なモデルスケール、タスクタイプ、微調整戦略の広範な実験により、MERGEは強いベースラインを一貫して上回り、効果的に一般化することを示した。

関連論文リスト

• An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
  ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。 複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。 本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T10:28:23Z)
• Towards Reversible Model Merging For Low-rank Weights [5.100622189286672]
  モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。 従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。 すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。 これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
  論文  参考訳（メタデータ） (2025-10-15T23:22:38Z)
• Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
  Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。 ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。 ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
  論文  参考訳（メタデータ） (2025-10-04T11:10:07Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
  モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。 MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-03-27T16:21:53Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• Layer-wise Model Merging for Unsupervised Domain Adaptation in Segmentation Tasks [3.776249047528669]
  フリーでトレーニングされたモデルの豊富さを活用して、モデルマージにコストフリーのアプローチを導入します。 初期レイヤを統一しながら、タスク固有の最終レイヤの特異性を維持することを目的としている。 このアプローチは、パフォーマンスを高めるために不可欠な、すべてのレイヤにおけるパラメータの一貫性を保証する。
  論文  参考訳（メタデータ） (2024-09-24T07:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。