論文の概要: Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors

• arxiv url: http://arxiv.org/abs/2511.17987v1
• Date: Sat, 22 Nov 2025 09:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.571504
• Title: Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors
• Title（参考訳）: Escaping Optimization Stagnation: 差分ベクトルによるタスク算術以上のステップを取る
• Authors: Jinping Wang, Zhiqiang Gao, Dinggen Zhang, Zhiwu Xie,
• Abstract要約: 事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 タスク算術は、タスクベクトルに基づく単純な算術演算付加と否定に基づく有望な解として最近登場した。 本稿では,差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI)を提案する。
• 参考スコア（独自算出の注目度）: 7.805099851866648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for editing pre-trained models face significant challenges, primarily high computational costs and limited scalability. Task arithmetic has recently emerged as a promising solution, using simple arithmetic operations-addition and negation-based on task vectors which are the differences between fine-tuned and pre-trained model weights, to efficiently modify model behavior. However, the full potential of task arithmetic remains underexplored, primarily due to limited mechanisms for overcoming optimization stagnation. To address this challenge, we introduce the notion of difference vector, a generalized form of task vectors derived from the historical movements during optimization. Using difference vectors as directed perturbations, we propose the Difference Vector-based Anisotropic Scaling Iterative algorithm (DV-BASI) to enable a continuous optimization process for task arithmetic methods without relying on any additional modules or components. Notably, by leveraging escapability and directional advantages of difference vectors, the average performance on different tasks of the multi-task model merged by DV-BASI may even outperform models individually fine-tuned. Based on this observation, we extend the application of difference vectors to a feasible fine-tuning method for single-task models. On the practical side, DV-BASI allows expressive searching directions with few learnable parameters and forms a scalable framework. We also integrate DV-BASI with task arithmetic methods and advanced optimization techniques to achieve state-of-the-art performance on both supervised and unsupervised evaluation protocols.
• Abstract（参考訳）: 事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 最近、タスク算術が有望な解として登場し、モデル振る舞いを効率的に修正するために、微調整されたモデルウェイトと事前訓練されたモデルウェイトの違いであるタスクベクトルに基づく単純な算術演算付加と否定に基づく。 しかし、タスク算術の潜在能力は、主に最適化の停滞を克服する限られたメカニズムのため、まだ探索されていない。 この課題に対処するために、最適化中の歴史的動きから導かれるタスクベクトルの一般化形式である差分ベクトルの概念を導入する。 差分ベクトルを有向摂動として用いた差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI) を提案する。 特に、差分ベクトルのエスケープ性と方向性の利点を活用することで、DV-BASIによってマージされたマルチタスクモデルの異なるタスクにおける平均性能は、個別に微調整されたモデルよりも優れている。 この観測に基づいて,差分ベクトルの適用を単一タスクモデルに対する実現可能な微調整法に拡張する。 実用面では、DV-BASIは学習可能なパラメータがほとんどない表現力のある探索方向を許容し、スケーラブルなフレームワークを形成する。 また,DV-BASIをタスク演算手法や高度な最適化手法と統合し,教師なし評価プロトコルと教師なし評価プロトコルの両方で最先端の性能を実現する。

関連論文リスト

• Decomposing Task Vectors for Refined Model Editing [21.799465464971092]
  本稿では,各タスクベクトルを2つのコンポーネントに分割する原理的分解法を提案する。 射影にまたがる不変部分空間を同定することにより、我々の手法は概念操作をより正確に制御できる。
  論文  参考訳（メタデータ） (2025-12-27T07:53:44Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [23.649762835129167]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic [24.40854328492979]
  本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。
  論文  参考訳（メタデータ） (2025-02-03T03:18:26Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。