論文の概要: HyperFix: Combinatorial Nonlinear Correction for Task Vector Merging

• arxiv url: http://arxiv.org/abs/2608.11499v1
• Date: Tue, 11 Aug 2026 23:27:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.401592
• Title: HyperFix: Combinatorial Nonlinear Correction for Task Vector Merging
• Title（参考訳）: HyperFix:タスクベクトルマージのための組合せ非線形補正
• Abstract要約: 本稿では,空間における部分条件付き非線形補正を予測する軽量ハイパーネットワークHyperFixを紹介する。 チューニングコストを低減しつつ既存のタスクベクトルマージ手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 4.4830633056186935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task vectors enable model merging without joint retraining. In practice, the subset of task vectors to be merged may vary, but many existing methods use scalar tuning for a particular subset, requiring repeated tuning across subsets and restricting task vector merging to linear rescaling. We therefore formulate merging across varying task subsets as a combinatorial correction problem and introduce HyperFix, a lightweight hypernetwork that predicts subset-conditioned nonlinear corrections in weight space. Trained once on singleton, pair, and triple subsets from a task bank, HyperFix generalizes to larger subsets without per-subset optimization. Our local perturbation analysis bounds the residual correction beyond linear merging and motivates learning it from small task updates. Experiments across diverse benchmarks show that HyperFix outperforms existing task vector merging methods while reducing tuning cost.
• Abstract（参考訳）: タスクベクトルは、ジョイントリトレーニングなしでモデルマージを可能にする。 実際には、マージすべきタスクベクトルのサブセットは異なるかもしれないが、既存の多くのメソッドでは特定のサブセットに対してスカラーチューニングを使用しており、サブセットをまたいで繰り返しチューニングし、タスクベクトルのマージを線形再スケーリングに制限している。 そこで,各タスクサブセット間のマージを組合せ補正問題として定式化し,重み空間におけるサブセット条件付き非線形補正を予測する軽量ハイパーネットワークであるHyperFixを導入する。 タスクバンクのシングルトン、ペア、トリプルサブセットで一度トレーニングされたHyperFixは、サブセットごとの最適化なしに、より大きなサブセットに一般化する。 我々の局所摂動解析は、線形マージ以上の残差補正を境界とし、小さなタスク更新から学習を動機付けます。 多様なベンチマークによる実験によると、HyperFixはチューニングコストを削減しつつ既存のタスクベクトルマージメソッドより優れている。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Linear Transformers Implicitly Discover Unified Numerical Algorithms [28.247731784318404]
  数百万のマスクブロック行列完了タスクに対して線形アテンション変換器を訓練する。 モデルでは入力出力対と平均二乗損失しか見ていないが、通常の方程式や手作りの反復は与えられず、タスクが関連しているというヒントも与えられていない。 我々は,このルールが完全バッチ問題に対する2次収束を実現し,分散イテレーションの複雑さを減らし,ランク限定の注意を払って精度を保っていることを証明した。
  論文  参考訳（メタデータ） (2025-09-24T02:19:04Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Addressing Representation Collapse in Vector Quantized Models with One Linear Layer [33.46194711570412]
  ベクトル量子化(VQ)は教師なし学習における連続表現の離散化に不可欠である。 VQは表現の崩壊に悩まされ、コードブックの利用率が低下し、スケーラビリティが制限される。 遅延ベースで学習可能な線形変換層を通じてコードベクトルを再パラメータ化する textbfSimpletextbfVQ を提案する。
  論文  参考訳（メタデータ） (2024-11-04T12:40:18Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Optimal Scalarizations for Sublinear Hypervolume Regret [2.703970154550017]
  均一にランダムな重みを持つ超体積スカラー化は、O(T-1/k)$の最適サブボリューム超体積後悔境界が得られることを示す。 多目的線型包帯の設定のために、不必要な$textpoly(k)$依存を取り除くために$tildeO(d T-1/2 + T-1/k)$の後悔境界を得る新しい非ユークリッド解析を導出する。
  論文  参考訳（メタデータ） (2023-07-06T20:49:42Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Competitive Mirror Descent [67.31015611281225]
  制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。 本稿では, 競合ミラー降下法(CMD)を提案する。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-06-17T22:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。