論文の概要: SMAT: Simple and Efficient Merge-Aware Training

• arxiv url: http://arxiv.org/abs/2609.33437v1
• Date: Sun, 27 Sep 2026 10:44:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:53:00.307077
• Title: SMAT: Simple and Efficient Merge-Aware Training
• Title（参考訳）: SMAT: シンプルで効率的なマージアウェアトレーニング
• Abstract要約: SMATは5つのマージメソッドの平均スコアを1.07-2.16ポイント改善する。 SMATは5つのマージメソッドの平均スコアを1.07-2.16ポイント改善し、各バックボーンのベースラインで最強となる。
• 参考スコア（独自算出の注目度）: 39.45854618976745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging integrates the capabilities of multiple experts without joint retraining, but standard expert training optimizes task loss alone and does not guarantee good performance after merging. Merge-aware training (MAT) aims to improve merged performance, but existing methods do not fully account for common merging operations and add training cost. We observe that, from an expert's perspective, common merging methods can be described by three operations: Scale reweights its own update, Mask removes selected coordinates, and Perturb adds updates from other experts. Based on this view, we introduce SMAT (Simple MAT), which jointly optimizes expert loss and expected loss at simulated merged parameters generated by sampling scaling coefficients, masks, and additive noise. We further introduce periodic scheduling, kernel fusion, and parameter storage switching to make SMAT efficient, with one forward and one backward pass per step. Across four language and vision-language backbones, SMAT improves the mean score across five merging methods by 1.07-2.16 points over the strongest baseline for each backbone, with less than 2% training-time overhead over standard fine-tuning.
• Abstract（参考訳）: モデルマージは、ジョイントリトレーニングなしで複数の専門家の能力を統合するが、標準的なエキスパートトレーニングは、タスク損失のみを最適化し、マージ後のパフォーマンスを保証しない。 マージ・アウェア・トレーニング(MAT)は、マージ性能を改善することを目的としているが、既存の手法では、一般的なマージ操作を完全に考慮せず、トレーニングコストを加算する。 私たちは、エキスパートの観点から、一般的なマージメソッドを3つの操作で説明できると考えている。 スケールは自身の更新を再重み付け、Maskは選択した座標を取り除き、Perturbは他の専門家からの更新を追加する。 SMAT(Simple MAT)は,スケーリング係数,マスク,付加雑音をサンプリングして生成した,シミュレーションされた統合パラメータにおいて,専門家の損失と期待損失を共同で最適化する。 さらに、周期スケジューリング、カーネル融合、パラメータ記憶スイッチングを導入し、SMATを効率よくし、1ステップごとに1つの前方通過と1つの後方通過を実現する。 4つの言語とヴィジュアル言語のバックボーンで、SMATは5つのマージメソッドの平均スコアを1.07-2.16ポイント改善し、各バックボーンのベースラインで最強となる。

関連論文リスト

• Are we Merging the Right Models? Impact of Expert Training Duration on Model Merging for LLMs [0.0]
  マルチタスクモデルマージは、個別に訓練されたエキスパートモデルを、コトレーニングなしですべてのタスクを処理する単一のモデルに結合する。 標準のプラクティスは、専門家を最適な検証損失にマージします。 ドメインエキスパートのトレーニング期間がマージモデルの品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-07-13T16:08:30Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。