論文の概要: Post-Hoc Merging is Not Enough: Many-Shot Model Merging with Loss-Gap Balancing

• arxiv url: http://arxiv.org/abs/2606.16501v1
• Date: Mon, 15 Jun 2026 10:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.363339
• Title: Post-Hoc Merging is Not Enough: Many-Shot Model Merging with Loss-Gap Balancing
• Title（参考訳）: ポスト・ホック・マージングはそれほど多くない - マルチショットモデルマージングと損失・ギャップ・バランシング
• Authors: Kyungjin Im, Miru Kim, Chanin Eom, Minhae Kwon,
• Abstract要約: 本稿では,ポストホックマージを反復的なマルチショットマージプロトコルに置き換えることにより,マルチタスク性能の向上が期待できることを示す。 安定なマルチショットマージのためのMETIS, タスク干渉による消去の軽減を提案する。
• 参考スコア（独自算出の注目度）: 5.704788741312527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging has become a practical post-training strategy for building a single multi-task large language model (LLM) by combining multiple task-specialized models. However, most existing approaches rely on post-hoc merging, in which task-specific models are merged only once after training. This one-shot aggregation often suffers from task interference, leading to information erasure across individual tasks. In this work, we show that replacing post-hoc merging with an iterative many-shot merging protocol is effective in improving multi-task performance. Building on this insight, we propose METIS, Mitigating Erasure from Task Interference for Stable many-shot merging. METIS is a loss-aware many-shot merging method that addresses information erasure in post-hoc merging through task-wise loss-gap weighting and consensus-based masking. Notably, METIS exhibits significant performance improvement on the worst-performing task, effectively mitigating information erasure. (Project page: https://imkyungjin.github.io/METIS/)
• Abstract（参考訳）: モデルマージは、複数のタスク特化モデルを組み合わせることで、単一のマルチタスク大言語モデル(LLM)を構築するための実践的なポストトレーニング戦略となっている。 しかし、既存のほとんどのアプローチは、トレーニング後に一度だけタスク固有のモデルをマージするポストホックマージに依存している。 このワンショットアグリゲーションは、しばしばタスクの干渉に悩まされ、個々のタスク間での情報消去につながる。 本研究では,ポストホックマージを反復的なマルチショットマージプロトコルに置き換えることがマルチタスク性能の向上に有効であることを示す。 本稿では,METIS, タスク干渉の消去を回避し, 安定なマルチショットマージを実現することを提案する。 METISは、タスクワイドの損失ギャップ重み付けとコンセンサスベースのマスキングを通じて、ポストホックマージにおける情報の消去に対処する、ロスアウェアなマルチショットマージ手法である。 特に、METISは、最悪のパフォーマンスタスクにおいて、大幅なパフォーマンス向上を示し、情報消去を効果的に軽減している。 (プロジェクトページ:https://imkyungjin.github.io/METIS/)

関連論文リスト

• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• DivMerge: A divergence-based model merging method for multi-tasking [2.449909275410288]
  マルチタスク学習(MTL)は、微調整の前にデータセットをマージすることでしばしば達成される。 この設定における大きな課題はタスクの干渉であり、タスクの数が増加するにつれて悪化する。 異なるタスクで訓練されたモデルを1つのモデルにマージし、すべてのタスクに対して強力なパフォーマンスを維持する手法を提案する。
  論文  参考訳（メタデータ） (2025-09-02T09:04:41Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。