論文の概要: Error-Subspace Calibration for Multi-Task Model Merging
- arxiv url: http://arxiv.org/abs/2610.33483v1
- Date: Sat, 24 Oct 2026 06:17:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.340534
- Title: Error-Subspace Calibration for Multi-Task Model Merging
- Title(参考訳): マルチタスクモデルマージのためのエラーサブスペース校正
- Abstract要約: 本稿では,エキスパートモデルとマージモデルとの重み差から低次元誤差部分空間を同定する,統合後の校正フレームワークであるESCalを提案する。
ESCalは、統合されたモデルを、表現と予測の両方の専門家に近づけることで、タスク固有の振る舞いをより忠実に回復させることを示す。
- 参考スコア(独自算出の注目度): 26.885647638314826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging combines task-specific expert models into a single model without joint training on their original datasets, but often incurs a performance gap relative to the individual experts. Post-merging calibration can reduce this gap through task-specific representation alignment, but the alignment objective alone does not specify which feature directions to correct. We propose Error-Subspace Calibration (ESCal), a post-merging calibration framework that identifies low-dimensional error subspaces from weight differences between expert and merged models. At each intermediate block boundary, a bridge module projects the merged representation onto the next block's input-projection error subspace and maps these coordinates to an additive correction in the current block's output-projection error subspace. The subspace bases remain fixed, so calibration learns only these linear maps, yielding a parameter-efficient mechanism for feature correction. We find that ESCal brings the merged model closer to the experts in both representations and predictions, indicating more faithful recovery of task-specific behavior. Experiments on vision and natural language understanding benchmarks show that ESCal improves merged-model performance across diverse architectures and merging methods using a small calibration set for each task.
- Abstract(参考訳): モデルマージは、タスク固有のエキスパートモデルを、元のデータセットを共同でトレーニングすることなく、単一のモデルに統合する。
統合後のキャリブレーションはタスク固有のアライメントアライメントによってこのギャップを減らすことができるが、アライメント目的だけでは、どの特徴方向を修正すべきかは特定していない。
低次元誤差部分空間をエキスパートモデルとマージモデル間の重み差から識別する,統合後の校正フレームワークであるError-Subspace Calibration (ESCal)を提案する。
各中間ブロック境界において、ブリッジモジュールは、マージされた表現を次のブロックの入射誤差部分空間に投影し、これらの座標を現在のブロックの出力射影エラー部分空間の加算補正にマッピングする。
部分空間基底は固定されているため、キャリブレーションはこれらの線形写像のみを学習し、特徴補正のためのパラメータ効率のメカニズムをもたらす。
ESCalは、統合されたモデルを、表現と予測の両方の専門家に近づけることで、タスク固有の振る舞いをより忠実に回復させることを示す。
視覚および自然言語理解ベンチマークの実験により、ESCalは様々なアーキテクチャをまたいだマージモデルの性能を改善し、各タスクに対して小さなキャリブレーションセットを使用してマージする方法をマージすることを示した。
関連論文リスト
- GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment [3.4219049032524804]
既存の手法は全てのタスクに一様マージを適用し、学習した部分空間間の幾何学的関係を無視している。
本稿では,各タスクと共有部分空間の主角アライメントによって,統合モデルのタスク毎の投影誤差が支配されることを示す。
本研究の目的は,タスクベクトルの主角幾何学を用いて,どのタスクをマージすべきかを判断する,textbfGroup-wise Rank-Aware Model Merging (GRAM)を提案することである。
論文 参考訳(メタデータ) (2026-10-21T02:50:46Z) - Model Merging by Output-Space Projection [6.752805486904705]
モデルマージは、微調整されたチェックポイントを再トレーニングせずに単一のマルチタスクモデルに結合する。
残余更新よりも凸プログラムとしてマージを定式化できることが示される。
逐次的なレイヤワイドアルゴリズムにより,マルチレイヤマージに拡張し,言語およびビジョンベンチマーク間で一貫した利得を示す。
論文 参考訳(メタデータ) (2026-05-27T21:01:29Z) - MAGIC: Achieving Superior Model Merging via Magnitude Calibration [46.30162864565835]
モデルマージは、特殊化されたモデルの能力を統一されたモデルにマージすることを目的としている。
特徴は方向と大きさの2つの重要な構成要素から成っている。
MAGnItude (MAGIC) は,特徴空間と重み空間の層規模を補正するプラグイン・アンド・プレイ・フレームワークである。
論文 参考訳(メタデータ) (2025-12-22T12:13:17Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳(メタデータ) (2025-01-02T12:45:21Z) - Beyond Probability Partitions: Calibrating Neural Networks with Semantic
Aware Grouping [45.09248880938502]
研究によると、ディープネットワークは予測に対して過度に楽観的であり、予測エラーを過小評価する傾向がある。
分割誤差 (Partitioned Error, PCE) という,より一般化された校正誤差の定義を提案する。
モデル精度とキャリブレーションの関係は分割関数の粒度に関係していることを示す。
論文 参考訳(メタデータ) (2023-06-08T07:16:03Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-16T16:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。