論文の概要: Mixture-Trained Merging for Unified Multi-Objective Models

• arxiv url: http://arxiv.org/abs/2610.01238v1
• Date: Thu, 01 Oct 2026 07:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.971074
• Title: Mixture-Trained Merging for Unified Multi-Objective Models
• Title（参考訳）: 統一多目的モデルのための混合学習マージ
• Abstract要約: Mixture-Trained Merging (MTM) は、単一の目的ではなく、客観的なデータミックスで各ブランチを訓練する。 MTMは、ブレンドモデルの評価を低コストの信号として使用し、高価なデータ混合処理を回避している。 単純なグリッド探索を超えてスケールするために、MTMはqNEHVIベースの多目的ベイズ最適化を用いる。
• 参考スコア（独自算出の注目度）: 15.194067100704686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified language models are increasingly expected to combine heterogeneous capabilities, such as mathematics, code, instruction following, and controllable thinking behavior, within a single set of parameters. A common solution is sequential post-training on multiple objectives, but this entangles all objectives along one optimization trajectory and makes the final model highly sensitive to training order, data ratios, schedules, and stopping criteria. Weight-space merging offers a modular alternative, but naive merging of single-objective experts often fails: domain capabilities degrade sharply, or think/non-think modes collapse into one dominant behavior. We attribute both failures to incompatible weight-space geometry: experts trained on single objectives drift to distant regions of parameter space, placing their interpolations outside any shared low-loss basin. We propose Mixture-Trained Merging (MTM), which trains each branch on an objective-biased data mixture rather than a single objective, exposing it to cross-objective interactions and making branches compatible at merge time. MTM uses merged-model evaluations as a low-cost signal for selecting branch mixtures, avoiding expensive data-mixture ablations. The procedure is iterative: each round promotes the base model using globally selected merge coefficients and refines each branch mixture using domain-preferred coefficients under constraints that preserve other objectives. To scale beyond simplex grid search, MTM uses qNEHVI-based multi-objective Bayesian optimization. Across code, mathematics, instruction following, and think/non-think control, MTM outperforms naive merging and preserves behavioral separation where single-objective merging collapses, suggesting that effective unified models require branches trained to be mergeable.
• Abstract（参考訳）: 統一言語モデルは、数学、コード、命令従法、制御可能な思考行動などの異種機能を1つのパラメータセットにまとめることがますます期待されている。 一般的な解決策は、複数の目標に対する連続的な後トレーニングであるが、これは1つの最適化軌道に沿って全ての目標を絞って、最終モデルをトレーニング順序、データ比率、スケジュール、停止基準に非常に敏感にする。 軽量スペースのマージは、モジュラーな代替手段を提供するが、単目的の専門家の素直なマージは、しばしば失敗する。 単一目的を訓練した専門家は、パラメータ空間の遠くの領域に漂流し、それらの補間を共有低損失盆地の外に置く。 我々は,MTM(Mixture-Trained Merging)を提案する。MTM(Mixture-Trained Merging)は,1つの目的ではなく,客観的なデータ混合に基づいて各ブランチを訓練し,相互対象の相互作用に公開し,ブランチをマージ時に互換性を持たせる。 MTMは、ブレンドモデルの評価を低コストの信号として使用し、高価なデータ混合処理を回避している。 各ラウンドは、グローバルに選択されたマージ係数を用いてベースモデルを促進し、他の目的を保存する制約の下で、各ブランチの混合をドメイン優先係数を用いて洗練する。 単純なグリッド探索を超えてスケールするために、MTMはqNEHVIベースの多目的ベイズ最適化を用いる。 コード全体、数学、命令に従うこと、思考/思考の制御において、MTMは、単目的のマージが崩壊する振る舞い分離よりも優れており、効果的に統一されたモデルでは、マージ可能なブランチを訓練する必要があることを示唆している。

関連論文リスト

• CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
  モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。 CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。 実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
  論文  参考訳（メタデータ） (2026-09-02T08:21:28Z)
• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
  本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2026-02-06T09:55:56Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
  推論機能は、大きな言語モデルにとって重要なフロンティアである。 機能を効率的に補完する1つの方法は、モデルマージである。 本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T12:47:25Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。