論文の概要: Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature

• arxiv url: http://arxiv.org/abs/2602.17385v1
• Date: Thu, 19 Feb 2026 14:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.055635
• Title: Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature
• Title（参考訳）: Kronecker-Factored Approximate Curvatureによるタスク算術におけるデータレスウェイト歪み
• Authors: Angelo Porrello, Pietro Buzzega, Felix Dangel, Thomas Sommariva, Riccardo Salami, Lorenzo Bonicelli, Simone Calderara,
• Abstract要約: 曲率行列近似問題として表現ドリフトに対する正規化をフレーミングすることで、データレスアプローチを提案する。 特に、Kronecker-Factored Approximate Curvatureを採用し、タスクの追加と否定の最先端結果を達成する実用的な正規化器を得る。
• 参考スコア（独自算出の注目度）: 29.0138600508929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task Arithmetic yields a modular, scalable way to adapt foundation models. Combining multiple task vectors, however, can lead to cross-task interference, causing representation drift and degraded performance. Representation drift regularization provides a natural remedy to disentangle task vectors; however, existing approaches typically require external task data, conflicting with modularity and data availability constraints (e.g., privacy requirements). We propose a dataless approach by framing regularization against representation drift as a curvature matrix approximation problem. This allows us to leverage well-established techniques; in particular, we adopt Kronecker-Factored Approximate Curvature and obtain a practical regularizer that achieves state-of-the-art results in task addition and negation. Our method has constant complexity in the number of tasks and promotes robustness to task vector rescaling, eliminating the need for held-out tuning.
• Abstract（参考訳）: Task Arithmeticは、ファンデーションモデルを適応するためのモジュラーでスケーラブルな方法を提供します。 しかし、複数のタスクベクトルを組み合わせることで、クロスタスクの干渉が生じ、表現のドリフトと性能が低下する。 表現のドリフト正規化は、タスクベクターをアンタングルする自然な対策を提供するが、既存のアプローチでは一般的に外部のタスクデータを必要とし、モジュラリティやデータ可用性の制約(プライバシー要件など)と矛盾する。 本稿では、曲線行列近似問題として表現ドリフトに対する正規化をフレーミングすることで、データレスアプローチを提案する。 特に、Kronecker-Factored Approximate Curvatureを採用し、タスクの追加と否定の最先端結果を達成する実用的な正規化器を得る。 本手法はタスク数に一定の複雑性を持ち,タスクベクトル再スケーリングに対するロバスト性を促進し,ホールドアウトチューニングの必要性を排除している。

関連論文リスト

• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。