論文の概要: MIN-Merging: Merge the Important Neurons for Model Merging

• arxiv url: http://arxiv.org/abs/2510.17890v2
• Date: Sun, 26 Oct 2025 11:00:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 13:14:10.588121
• Title: MIN-Merging: Merge the Important Neurons for Model Merging
• Title（参考訳）: MIN-Merging:モデルマージにおいて重要なニューロンをマージする
• Authors: Yunfei Liang,
• Abstract要約: MIN-Mergingはルータベースのフレームワークで、これらの衝突を減らすために最も重要なニューロンを選択的にマージする。 我々は、MIN-Mergingがドメイン内タスクにおいて一貫したゲインを達成し、ドメイン外タスク上で事前訓練されたモデルの一般化能力を維持していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in deep learning have led to a surge of open-source models across diverse domains. While model merging offers a promising way to combine their strengths, existing approaches often suffer from parameter conflicts that degrade performance on domain-specific tasks. We propose MIN-Merging, a router-based framework that selectively merges the most important neurons to reduce such conflicts. Extensive experiments on Computer Vision(CV) and Natural Language Processing(NLP) benchmarks show that MIN-Merging achieves consistent gains on in-domain tasks while retaining the generalization ability of pretrained models on out-of-domain tasks. These results highlight its effectiveness as a practical solution to the parameter conflict problem in model merging.
• Abstract（参考訳）: ディープラーニングの最近の進歩は、さまざまな領域にわたるオープンソースモデルの増加につながっている。 モデルマージは、彼らの強みを組み合わせるための有望な方法を提供するが、既存のアプローチは、しばしば、ドメイン固有のタスクのパフォーマンスを低下させるパラメータの競合に悩まされる。 提案するMIN-Mergingは,最も重要なニューロンを選択的にマージして競合を低減するルータベースのフレームワークである。 コンピュータビジョン(CV)と自然言語処理(NLP)ベンチマークの大規模な実験により、MIN-Mergingはドメイン外のタスクで事前訓練されたモデルの一般化能力を保ちながら、ドメイン内タスクにおいて一貫したゲインを達成することが示された。 これらの結果は,モデルマージにおけるパラメータ競合問題に対する実用的な解法としての有効性を浮き彫りにしている。

関連論文リスト

• Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
  Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。 ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。 ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
  論文  参考訳（メタデータ） (2025-10-04T11:10:07Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• To See a World in a Spark of Neuron: Disentangling Multi-task Interference for Training-free Model Merging [16.81093103067372]
  本研究は, モデルマージにおける神経機構を利用した最初の研究である。 神経サブスペース内のタスク干渉を軽減するために開発された新しい統合フレームワークであるNeuroMergingを紹介する。 本研究は, モデルマージにおける神経機構の整合の重要性を強調した。
  論文  参考訳（メタデータ） (2025-03-07T11:00:24Z)
• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。