論文の概要: A Spectral Framework for Universal Proxy Regularization in Model Merging
- arxiv url: http://arxiv.org/abs/2611.17728v1
- Date: Fri, 13 Nov 2026 04:16:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.301768
- Title: A Spectral Framework for Universal Proxy Regularization in Model Merging
- Title(参考訳): モデルマージにおけるユニバーサルプロキシ正規化のためのスペクトルフレームワーク
- Abstract要約: モデルマージは、高価なジョイントトレーニングなしでマルチタスクモデルを構築するが、しばしばパラメータ干渉に悩まされる。
いくつかのソリューションは、マージされる他のタスクのデータを使用して微調整を制限することによって、これを緩和する。
最近の研究は、普遍的でタスク・ア・プロキシの分布がそのようなデータを置き換えることができるという予備的な実証的な証拠を提供しているが、それが十分であるのはいつ、なぜなのかは明らかにされていない。
- 参考スコア(独自算出の注目度): 72.17785699918092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model merging constructs multi-task models without expensive joint training but often suffers from parameter interference. Some solutions mitigate this by constraining finetuning using data from the other tasks to be merged, violating the core independence and privacy assumption of model merging. Recent work offers preliminary empirical evidence that a universal, task-agnostic proxy distribution can substitute for such data, but leaves open when and why it suffices. To this end, we propose a \textit{Spectral Framework for Universal Proxy Regularization}, which characterizes the relationship between a proxy distribution and the distribution of other tasks to be merged through spectral coverage ($α$) and leakage ($β$). Based on the framework, we derive a unified parameter interference bound: smaller $(α, β)$ provably yields lower parameter interference through better spectral alignment. To exploit such a proxy, we augment the training objective with a proxy regularizer. Evaluating this regularizer during fine-tuning requires a concrete mechanism. We study three instantiations, including (J) an exact evaluation via Jacobian-vector products, (F) a frozen curvature approximation using the Fisher information matrix, and (O) an output-drift formulation that constrains the model's functional deviation on the proxy directly. We prove that all three coincide under the NTK linearization, where existing analyses of such regularizers stop, and go further to characterize standard non-linear fine-tuning, bounding how far each instantiation departs from its linearized reference and obtain a three-way hierarchy, zero for (J), proxy-independent for (F), and proxy-quality-scaling for (O). Empirical validation on the commonly used vision-language model CLIP confirms these theoretical predictions.
- Abstract(参考訳): モデルマージは、高価なジョイントトレーニングなしでマルチタスクモデルを構築するが、しばしばパラメータ干渉に悩まされる。
いくつかのソリューションは、マージすべき他のタスクのデータを使用した微調整を制限し、モデルマージのコア独立性とプライバシの前提に違反して、これを緩和する。
最近の研究は、普遍的でタスクに依存しないプロキシ分布がそのようなデータを置き換えることができるという、予備的な実証的な証拠を提供している。
この目的のために、プロキシ分布と他のタスクの分布の関係をスペクトルカバレッジ(α$)とリーク(β$)で表現する、Universal Proxy Regularizationのためのtextit{Spectral Frameworkを提案する。
より小さい$(α, β)$は、より優れたスペクトルアライメントを通して、より低いパラメータ干渉を確実に得る。
このようなプロキシを活用するために、プロキシ正規化器を用いてトレーニング目標を増強する。
微調整中にこの正規化器を評価するには、具体的なメカニズムが必要である。
本稿では, (J) ヤコビアンベクトル生成物による正確な評価, (F) フィッシャー情報行列を用いた凍結曲率近似, (O) モデル関数のプロキシへの偏差を直接抑制する出力ドリフト定式化を含む3つのインスタンス化について検討する。
我々は、これらの正規化器の既存の解析が停止するNTK線形化の下でこれら3つが一致することを証明し、さらに標準非線形微調整を特徴付け、各インスタンス化がその線形化参照からどのくらい離れるかを境界にして、3方向階層、(J)はゼロ、(F)はプロキシ非依存、(O)はプロキシ品質スケーリングを得る。
一般的に使われている視覚言語モデルCLIPの実証検証は、これらの理論予測を裏付ける。
関連論文リスト
- Predicting Out-of-Distribution Generalization of Neural Operators via Observable Spectral Error Decomposition [0.0]
本稿では,分布外一般化を予測可能かつ監査可能な構造保存フレームワークを提案する。
例えば、$vareps_mathrmeff(f)|f|$は、帯域内スペクトルシフト、帯域外テール、複合シフトの下でのエネルギー誤差を一貫して予測する。
論文 参考訳(メタデータ) (2026-09-20T10:22:00Z) - Reasoning without Gold Standards: A Proxy-Judge Theory of Autoformalization [25.540859911959885]
自動形式化(AF)は、非公式な数学的または論理的推論を形式的に検証可能なオブジェクトに変換するようモデルに求める。
我々は、金標準マッチングを軸ごとのプロパティチェックのベクトルに置き換える、AFのための参照フリープロキシ・ジャッジフレームワークを導入する。
miniF2F、ProofNet、e-SNLI、ProntoQAの7つの形式化バックボーンで、改良はシングルショットのICLベースラインよりもパスレートを一貫して引き上げる。
論文 参考訳(メタデータ) (2026-06-08T12:57:09Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - Predictive Maps of Multi-Agent Reasoning: A Successor-Representation Spectrum for LLM Communication Topologies [0.0]
既存の評価は、これらの質問に答えるのは、ポストホックと測定されたタスクのみである。
本稿では,M = (I - P)-1$の行確率的通信演算子の後継表現に基づくマルチエージェントLLM通信グラフの構造診断を提案する。
鎖,星,メッシュの閉形スペクトルを行確率正規化法で導出し,12ステップ構成された状態追跡タスクの予測を検証した。
論文 参考訳(メタデータ) (2026-05-12T03:11:39Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳(メタデータ) (2026-02-26T00:47:51Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳(メタデータ) (2026-02-10T21:08:53Z) - Non-isotropy Regularization for Proxy-based Deep Metric Learning [78.18860829585182]
本稿では,プロキシに基づくDeep Metric Learningのための非等方正則化(mathbbNIR$)を提案する。
これにより、プロキシの周囲のサンプルの非等方分布を明示的に誘導して最適化することが可能になる。
実験では、競争力と最先端のパフォーマンスを達成しながら、$mathbbNIR$の一貫性のある一般化の利点を強調している。
論文 参考訳(メタデータ) (2022-03-16T11:13:20Z) - Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions [0.0]
統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。
データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
論文 参考訳(メタデータ) (2020-08-13T11:28:57Z) - Lower bounds in multiple testing: A framework based on derandomized
proxies [107.69746750639584]
本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。
これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
論文 参考訳(メタデータ) (2020-05-07T19:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。