論文の概要: Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors

• arxiv url: http://arxiv.org/abs/2511.17987v1
• Date: Sat, 22 Nov 2025 09:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.571504
• Title: Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors
• Title（参考訳）: Escaping Optimization Stagnation: 差分ベクトルによるタスク算術以上のステップを取る
• Authors: Jinping Wang, Zhiqiang Gao, Dinggen Zhang, Zhiwu Xie,
• Abstract要約: 事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 タスク算術は、タスクベクトルに基づく単純な算術演算付加と否定に基づく有望な解として最近登場した。 本稿では,差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI)を提案する。
• 参考スコア（独自算出の注目度）: 7.805099851866648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for editing pre-trained models face significant challenges, primarily high computational costs and limited scalability. Task arithmetic has recently emerged as a promising solution, using simple arithmetic operations-addition and negation-based on task vectors which are the differences between fine-tuned and pre-trained model weights, to efficiently modify model behavior. However, the full potential of task arithmetic remains underexplored, primarily due to limited mechanisms for overcoming optimization stagnation. To address this challenge, we introduce the notion of difference vector, a generalized form of task vectors derived from the historical movements during optimization. Using difference vectors as directed perturbations, we propose the Difference Vector-based Anisotropic Scaling Iterative algorithm (DV-BASI) to enable a continuous optimization process for task arithmetic methods without relying on any additional modules or components. Notably, by leveraging escapability and directional advantages of difference vectors, the average performance on different tasks of the multi-task model merged by DV-BASI may even outperform models individually fine-tuned. Based on this observation, we extend the application of difference vectors to a feasible fine-tuning method for single-task models. On the practical side, DV-BASI allows expressive searching directions with few learnable parameters and forms a scalable framework. We also integrate DV-BASI with task arithmetic methods and advanced optimization techniques to achieve state-of-the-art performance on both supervised and unsupervised evaluation protocols.
• Abstract（参考訳）: 事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 最近、タスク算術が有望な解として登場し、モデル振る舞いを効率的に修正するために、微調整されたモデルウェイトと事前訓練されたモデルウェイトの違いであるタスクベクトルに基づく単純な算術演算付加と否定に基づく。 しかし、タスク算術の潜在能力は、主に最適化の停滞を克服する限られたメカニズムのため、まだ探索されていない。 この課題に対処するために、最適化中の歴史的動きから導かれるタスクベクトルの一般化形式である差分ベクトルの概念を導入する。 差分ベクトルを有向摂動として用いた差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI) を提案する。 特に、差分ベクトルのエスケープ性と方向性の利点を活用することで、DV-BASIによってマージされたマルチタスクモデルの異なるタスクにおける平均性能は、個別に微調整されたモデルよりも優れている。 この観測に基づいて,差分ベクトルの適用を単一タスクモデルに対する実現可能な微調整法に拡張する。 実用面では、DV-BASIは学習可能なパラメータがほとんどない表現力のある探索方向を許容し、スケーラブルなフレームワークを形成する。 また,DV-BASIをタスク演算手法や高度な最適化手法と統合し,教師なし評価プロトコルと教師なし評価プロトコルの両方で最先端の性能を実現する。

関連論文リスト

• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic [24.40854328492979]
  本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。
  論文  参考訳（メタデータ） (2025-02-03T03:18:26Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。