論文の概要: CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging
- arxiv url: http://arxiv.org/abs/2609.02273v1
- Date: Wed, 02 Sep 2026 08:21:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.148587
- Title: CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging
- Title（参考訳）: CoMerge: マルチタスクモデルマージのための競合駆動型推論最適化
- Abstract要約: モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。
CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。
実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
- 参考スコア（独自算出の注目度）: 59.836482609414816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging provides an efficient paradigm for constructing multi-task large language models (LLMs) without full model retraining, yet it remains challenged by parameter interference. While existing methods aim to preserve the capabilities of individual expert models and mitigate interference, they generally do not directly learn from the potentially degraded behaviors exposed by naive merging. In this paper, we propose a conflict-driven preference optimization framework for model merging (CoMerge), which reformulates model merging as a preference optimization problem. The approach utilizes a self-supervised, conflict-driven strategy that leverages the defects of naive merging methods (e.g., task arithmetic) as hard negative samples to construct preference pairs without external annotations. By applying preference optimization to refine lightweight, tensor-wise merging coefficients, CoMerge enables the model to mitigate parameter-space conflicts while preserving task-specific capabilities. Extensive experiments show that CoMerge achieves an average normalized performance of 0.9968 on MergeBench, outperforming all evaluated data-free and data-driven model-merging baselines. Furthermore, on Llama-3.1-8B-Instruct, CoMerge yields marked improvements on conflict-sensitive tasks such as instruction following and safety, while remaining highly competitive with full-parameter fine-tuning despite optimizing only 1,445 scalar coefficients.
- Abstract（参考訳）: モデルマージは、完全なモデルの再トレーニングなしにマルチタスクの大規模言語モデル(LLM)を構築するための効率的なパラダイムを提供する。
既存の手法は、個々の専門家モデルの能力を維持し、干渉を軽減することを目的としているが、彼らは一般的に、単純なマージによって露呈される潜在的な劣化した振る舞いから直接は学ばない。
本稿では,モデルマージを優先最適化問題として再構成するモデルマージ(CoMerge)のためのコンフリクト駆動型優先最適化フレームワークを提案する。
このアプローチでは、外部アノテーションを使わずに好みのペアを構築するために、単純なマージメソッド(例えば、タスク演算)の欠陥をハードな負のサンプルとして活用する、自己教師付きコンフリクト駆動の戦略を採用している。
CoMergeは、軽量でテンソルワイドなマージ係数に好みの最適化を適用することで、タスク固有の機能を保ちながらパラメータ空間の競合を軽減することができる。
大規模な実験により、CoMergeはMergeBench上で平均0.9968の正規化性能を達成し、すべての評価されたデータフリーおよびデータドリブンのモデルマージベースラインを上回った。
さらに、Llama-3.1-8B-Instructでは、CoMergeは1,445のスカラー係数を最適化したにもかかわらず、命令追従や安全性などの競合に敏感なタスクの改善を図った。
関連論文リスト
- ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation [34.173549610331385]
モデルマージは、複数のタスク固有のエキスパートモデルと1つのモデルを組み合わせることを目的としている。
専門家間の干渉、特に異なる目的でトレーニングされた場合、しばしばパフォーマンスが著しく低下する。
acemは、タスク間干渉を効果的に緩和する適応的共分散推定フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T12:53:04Z) - Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。
MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。
MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
論文 参考訳（メタデータ） (2026-02-06T09:55:56Z) - From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。
分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
論文 参考訳（メタデータ） (2025-11-29T08:40:58Z) - From Parameter to Representation: A Closed-Form Approach for Controllable Model Merging [22.794831741556468]
モデルマージは、マルチタスクのパフォーマンスのエキスパートモデルを組み合わせるが、パラメータ干渉による課題に直面している。
既存のアプローチではコンパイル型クエリーのパラダイムを採用しており、高速で好み対応のモデル生成を可能にするために、コストのかかるオフラインの多目的最適化を実行する。
我々は、この補正を最適線形変換としてモデル化し、オフライン最適化プロセス全体を単一ステップでアーキテクチャに依存しない計算で置き換える閉形式解を得る。
論文 参考訳（メタデータ） (2025-11-14T04:09:25Z) - Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。
ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
論文 参考訳（メタデータ） (2025-10-04T11:10:07Z) - NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。
パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。
NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
論文 参考訳（メタデータ） (2025-05-22T02:46:08Z) - Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。
我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。
DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
論文 参考訳（メタデータ） (2025-04-26T18:31:14Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。
多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
論文 参考訳（メタデータ） (2025-02-24T13:52:05Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。