論文の概要: Closed-Form Spectral Regularization for Multi-Task Model Merging

• arxiv url: http://arxiv.org/abs/2606.07289v1
• Date: Fri, 05 Jun 2026 14:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.766923
• Title: Closed-Form Spectral Regularization for Multi-Task Model Merging
• Title（参考訳）: マルチタスクモデルマージのための閉形式スペクトル正則化
• Authors: Yongxian Wei, Runxi Cheng, Xingxuan Zhang, Li Shen, Chun Yuan, Peng Cui, Dacheng Tao,
• Abstract要約: モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
• 参考スコア（独自算出の注目度）: 96.82449201305234
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model merging combines several independently fine-tuned experts into a single multi-task model without any training data, reducing the storage, serving, and decentralized-development costs of large foundation models. State-of-the-art merging methods formulate merging as a layer-wise quadratic interference minimization problem. Although this problem admits an exact closed-form pseudoinverse solution, that solution underperforms hundreds of iterations of gradient descent in practice. The iterative loop dominates the cost of the pipeline, yet its effectiveness has remained unexplained. We revisit this regime and show that the iterative solver does not primarily act as an optimizer; rather, it serves as an implicit spectral regularizer for an ill-posed normal equation, where small-eigenvalue directions of the per-layer interference operator amplify proxy noise. Building on this finding, we formalize multi-task model merging as a noisy linear inverse problem and propose a spectral filtering estimator parameterized by a per-direction filter. We instantiate this estimator with SWUDI, a closed-form method that combines a soft exponential filter, which matches the gradient-flow trajectory of iterative descent, with a hard top-K truncation that suppresses noise-amplifying small-eigenvalue directions. Furthermore, we propose SWUDI-A, an adaptive variant that replaces the global rank hyperparameter with per-layer rank rules, further improving robustness across architectures. Both variants share a single symmetric eigendecomposition per linear layer and require no training data or optimizer state. Across four general benchmarks and a multimodal merging benchmark spanning VQA, Geometry, Chart, OCR, Grounding, and modality merging, our proposed spectral solvers match or outperform state-of-the-art merging methods. Crucially, they reduce wall-clock time by 28-72x and peak GPU memory by up to 50%.
• Abstract（参考訳）: モデルマージは、独立に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに組み合わせ、大規模な基盤モデルのストレージ、サービス、分散開発コストを削減します。 階層2次干渉最小化問題として、最先端のマージ法が定式化される。 この問題は厳密な閉形式擬逆解を認めているが、この解は実際には数百の勾配降下の繰り返しを過小評価する。 繰り返しループはパイプラインのコストを支配しているが、その効果は説明されていない。 そこで本研究では,反復解法が主にオプティマイザとして機能しないことを示すとともに,各層間干渉作用素の固有値方向がプロキシノイズを増幅する不当な正規方程式に対して,暗黙のスペクトル正規化器として機能することを示す。 この結果に基づいて,マルチタスクモデルの統合をノイズの多い線形逆問題として定式化し,指向フィルタ毎にパラメータ化されたスペクトルフィルタリング推定器を提案する。 この推定器をSWUDIでインスタンス化する。これは、繰り返し降下の勾配-流れ軌跡に一致するソフト指数フィルタと、雑音増幅小固有値方向を抑制するハードトップKトランケーションを組み合わせた閉形式である。 さらに,グローバル階数ハイパーパラメータを階層単位の階数規則に置き換える適応型SWUDI-Aを提案する。 どちらの変種も線形層ごとに単一の対称固有分解を共有しており、トレーニングデータやオプティマイザ状態を必要としない。 VQA,Geometry, Chart, OCR, Grounding,Modality mergingにまたがる4つの一般的なベンチマークとマルチモーダルマージングベンチマークの合計で,提案手法のスペクトル解法は,最先端マージング法よりも優れているか,あるいは優れている。 重要な点として、ウォールクロック時間を28-72倍、ピークGPUメモリを最大50%削減する。

関連論文リスト

• Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems [0.0]
  本稿では,リコメンデータシステムにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。 この分解は、コンテキストのみの計算を、元のモデルと同等の1/1の要求から1/1の要求に移行する。 DLRMスタイルのランサーをアーキテクチャ変更せずに生産する場合、分解はポッド当たりのスループットを87.5%向上させる。
  論文  参考訳（メタデータ） (2026-05-24T13:35:36Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• An Efficient Diffusion-based Non-Autoregressive Solver for Traveling Salesman Problem [21.948190231334088]
  本稿では,トラベリングセールスマン問題に適した効率の良い反復型拡散モデルであるDEITSPを提案する。 本稿では,制御された離散雑音付加プロセスと自己整合性強化を統合した一段階拡散モデルを提案する。 また、ノードとエッジのモダリティから特徴の抽出と融合を促進するために、デュアルモダリティグラフ変換器を設計する。
  論文  参考訳（メタデータ） (2025-01-23T15:47:04Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness [0.0]
  非常に多くのスムーズで可能な非サイズの関数の平均を考慮し、この問題に対処するために2つの広く最小限のフレームワークを使用します。 IG/RRスキームの簡易制御による修正を定義する。 我々は、完全なバッチ勾配(L-BFGS)とIG/RR手法の実装の両方で実装を証明し、アルゴリズムが同様の計算作業を必要とすることを証明した。
  論文  参考訳（メタデータ） (2022-12-04T15:26:36Z)
• A conditional one-output likelihood formulation for multitask Gaussian processes [0.0]
  マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。 本稿では,マルチタスク学習を簡略化する新しい手法を提案する。 現状の美術品と計算的に競合していることが示される。
  論文  参考訳（メタデータ） (2020-06-05T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。