論文の概要: Dynamic Model Merging Made Slim

• arxiv url: http://arxiv.org/abs/2605.18904v1
• Date: Sun, 17 May 2026 13:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.865421
• Title: Dynamic Model Merging Made Slim
• Title（参考訳）: スリム化による動的モデルマージ
• Authors: Guodong Du, Wanyu Lin,
• Abstract要約: DiDi-Mergingは、共有パラメータとエキスパートパラメータのバランスを取るために、異なるランク割り当てを利用するスリムな動的マージフレームワークである。 従来の動的ベースラインは、1つの微調整モデルのパラメータの1.24倍にしか一致せず、1.4倍に上り、2倍のストレージを必要とするメソッドよりもかなりコンパクトである。
• 参考スコア（独自算出の注目度）: 17.13938353416822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging enables the reuse of fine-tuned models without joint training or access to original data. Dynamic merging further improves flexibility by selectively activating task-relevant parameters and efficiently composing experts across multiple tasks. However, existing dynamic methods either maintain a full shared model with tiny experts or allocate excessive capacity to experts, leading to suboptimal accuracy--efficiency trade-offs. To address this, we propose DiDi-Merging, a slim dynamic merging framework that leverages differentiable rank allocation to balance shared and expert parameters. By formulating parameter budgeting as differentiable rank optimization in low-rank modules and introducing a data-free refinement step to recover task fidelity, DiDi-Merging matches prior dynamic baselines at only 1.24x the parameters of a single fine-tuned model and surpasses them at 1.4x, substantially more compact than methods requiring > 2x storage. DiDi-Merging applies across vision, language, and multimodal tasks.
• Abstract（参考訳）: モデルマージは、共同トレーニングやオリジナルのデータへのアクセスなしに、微調整されたモデルの再利用を可能にする。 動的マージは、タスク関連パラメータを選択的に活性化し、複数のタスクで専門家を効率的に構成することによって、柔軟性をさらに向上する。 しかし、既存の動的メソッドは、少数の専門家による完全な共有モデルを維持するか、専門家に過剰なキャパシティを割り当て、最適以下の精度-効率のトレードオフをもたらす。 そこで本稿では,共有パラメータとエキスパートパラメータのバランスをとるために,異なるランク割り当てを利用するスリムな動的マージフレームワークであるDiDi-Mergingを提案する。 低ランクモジュールにおける微分階数最適化としてパラメータ予算を定式化し、タスクの忠実度を回復するためのデータフリー改善ステップを導入することで、DiDi-Mergingは1.24倍の動的ベースラインを1つの微調整モデルのパラメータと一致させ、2倍のストレージを必要とするメソッドよりもかなりコンパクトである1.4倍に超える。 DiDi-Mergingは視覚、言語、マルチモーダルタスクに適用される。

関連論文リスト

• Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
  本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2026-02-06T09:55:56Z)
• SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging [60.83635006372403]
  textttSE-Mergingは自己拡張型モデルマージフレームワークである。 textttSE-Mergingは、追加のトレーニングなしで動的モデルのマージを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-22T18:38:41Z)
• Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
  既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。 我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。 DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-04-26T18:31:14Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
  RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• 1bit-Merging: Dynamic Quantized Merging for Large Language Models [19.365673988498028]
  texttt1bit-Mergingは,タスク固有のルーティングと1ビットの量子化されたタスクベクトルを統合し,性能と記憶効率のバランスをとる新しいフレームワークである。 1bit-Mergingは既存の手法と同等あるいは優れた性能を示しながら、ストレージ要件を著しく低減する。
  論文  参考訳（メタデータ） (2025-02-15T09:47:50Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。