論文の概要: Model Merging by Output-Space Projection

• arxiv url: http://arxiv.org/abs/2605.29101v1
• Date: Wed, 27 May 2026 21:01:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.459892
• Title: Model Merging by Output-Space Projection
• Title（参考訳）: 出力空間投影によるモデルマージ
• Authors: Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner,
• Abstract要約: モデルマージは、微調整されたチェックポイントを再トレーニングせずに単一のマルチタスクモデルに結合する。 残余更新よりも凸プログラムとしてマージを定式化できることが示される。 逐次的なレイヤワイドアルゴリズムにより,マルチレイヤマージに拡張し,言語およびビジョンベンチマーク間で一貫した利得を示す。
• 参考スコア（独自算出の注目度）: 6.752805486904705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines fine-tuned checkpoints into a single multi-task model without retraining. Existing methods - such as task arithmetic, model soups, TIES, and DARE - are computationally efficient and empirically successful, but rely on heuristic design choices and lack formal optimality guarantees. We show that merging can be formulated as a convex quadratic programme over residual updates, yielding weights that minimise a squared-output calibration objective using calibration inputs and fine-tuned model outputs, and subsuming existing methods as special cases. Our framework yields a closed-form diagnostic - the fraction of residual energy captured by a chosen basis - that predicts downstream merge quality using only the calibration set. Empirically, the QP matches or outperforms existing methods in the single-layer setting, and we characterise when the optimal basis provides significant gains over the cheaper diagonal QP. We extend to multi-layer merging via a sequential layer-wise algorithm and demonstrate consistent gains across language and vision benchmarks.
• Abstract（参考訳）: モデルマージは、微調整されたチェックポイントを再トレーニングせずに単一のマルチタスクモデルに結合する。 タスク演算、モデルスープ、TIES、DAREといった既存の手法は、計算的に効率的で経験的に成功しているが、ヒューリスティックな設計選択に依存しており、形式的な最適性保証がない。 本研究では,残差更新による凸2次プログラムとしてマージを定式化し,キャリブレーション入力と微調整モデル出力を用いて2乗出力校正目標を最小化する重み付けを行い,既存の手法を特別な場合として仮定することを示した。 我々のフレームワークは, キャリブレーションセットのみを用いて下流のマージ品質を予測するクローズドフォーム診断(選択ベースで取得した残エネルギーの分画)を行う。 実証的に、QPは単層設定で既存の手法と一致または性能が良く、最適基底が安価な対角線QPよりも大きな利得をもたらすと特徴付ける。 逐次的なレイヤワイドアルゴリズムにより,マルチレイヤマージに拡張し,言語およびビジョンベンチマーク間で一貫した利得を示す。

関連論文リスト

• Model soups need only one ingredient [34.18140086731622]
  目標分布上の微調整済みの大規模な事前学習モデルは、しばしば分布内(ID)の精度を改善するが、ロバスト性は犠牲となる。 Model Soupsのような重み空間のアンサンブルメソッドは、複数のチェックポイントを平均化することによって、この効果を緩和する。 単一チェックポイントのみを使用して強力なID-OODバランスを実現する,シンプルでデータフリーでハイパーパラメータフリーなポストホック方式であるMonoSoupを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T11:44:19Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
  Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。 モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。 また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
  論文  参考訳（メタデータ） (2025-05-08T00:08:31Z)
• InfAlign: Inference-aware language model alignment [58.66389179049758]
  言語モデルのアライメントは、現代の生成言語モデルのトレーニングにおける重要なステップである。 この列車/テストのミスマッチは、推論時間法の観点から標準のRLHFフレームワークを最適化することを示す。 本稿では,ベースモデルに対するアライメントポリシーの予測時間勝利率を最適化することを目的とした,推論対応アライメント(InfAlign)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-27T18:45:36Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。