論文の概要: Domain-Adaptive Model Merging across Disconnected Modes

• arxiv url: http://arxiv.org/abs/2603.05957v1
• Date: Fri, 06 Mar 2026 06:42:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.191458
• Title: Domain-Adaptive Model Merging across Disconnected Modes
• Title（参考訳）: 分割モード間のドメイン適応モデルマージ
• Authors: Junming Liu, Yusen Zhang, Rongchao Zhang, Wenkai Zhu, Tian Wu,
• Abstract要約: DMMは、高度に分散したモデルを扱うように設計されたデータフリーモデルマージフレームワークである。 DMMは3つのステップで進行する。まずドメイン固有モデルは独立して訓練される。次に、高い類似性を持つモデルは、安定性を確保するために標準技術を用いてマージされる。第3に、正規化統計から擬似データを合成し、これらのサンプルによって導かれる軽量な精細化により、発散したモデルから融合モデルへの知識を抽出する。
• 参考スコア（独自算出の注目度）: 4.47776784336111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning across domains is challenging when data cannot be centralized due to privacy or heterogeneity, which limits the ability to train a single comprehensive model. Model merging provides an appealing alternative by consolidating knowledge from multiple specialized models into one, avoiding data sharing and reducing retraining cost. In this work, we present DMM, a data-free model merging framework designed to handle highly divergent models. DMM proceeds in three steps. First, domain-specific models are trained independently. Second, models with high similarity are merged using standard techniques to ensure stability. Third, we synthesize pseudo-data from normalization statistics and distill knowledge from divergent models into the merged model through a lightweight refinement guided by these samples. This approach preserves rare but critical knowledge while maintaining stability. Extensive experiments on unimodal and multimodal benchmarks show that DMM achieves state-of-the-art performance over existing merging methods.
• Abstract（参考訳）: プライバシや不均一性のためにデータが集中できない場合、ドメイン間での学習は困難であり、単一の包括的なモデルをトレーニングする能力を制限する。 モデルマージは、複数の専門モデルからの知識をひとつに統合し、データの共有を回避し、再トレーニングコストを削減することで、魅力的な代替手段を提供する。 本研究では,高度に分散したモデルを扱うように設計されたデータフリーモデルマージフレームワークであるDMMを提案する。 DMMは3ステップで進む。 まず、ドメイン固有モデルは独立して訓練される。 第二に、高い類似性を持つモデルは、安定性を確保するために標準技術を用いてマージされる。 第3に、正規化統計から擬似データを合成し、これらのサンプルによって導かれる軽量な精錬により、発散モデルからの知識を融合モデルに蒸留する。 このアプローチは、稀だが重要な知識を維持しながら、安定性を維持している。 単モーダルおよびマルチモーダルベンチマークの広範囲な実験により、DMMは既存のマージ手法よりも最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
  Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。 ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。 ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
  論文  参考訳（メタデータ） (2025-10-04T11:10:07Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。