論文の概要: Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic

• arxiv url: http://arxiv.org/abs/2502.01015v4
• Date: Thu, 09 Oct 2025 05:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.360849
• Title: Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic
• Title（参考訳）: Task Vector Bases: Compressed Task Arithmeticのための統一されたスケーラブルなフレームワーク
• Authors: Siqi Zeng, Yifei He, Meitong Liu, Weiqiu You, Yifan Hao, Yao-Hung Hubert Tsai, Makoto Yamada, Han Zhao,
• Abstract要約: 本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。
• 参考スコア（独自算出の注目度）: 24.40854328492979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task arithmetic, representing downstream tasks through linear operations on task vectors, has emerged as a simple yet powerful paradigm for transferring knowledge across diverse settings. However, maintaining a large collection of task vectors introduces scalability challenges in both storage and computation. We propose Task Vector Bases, a framework compressing $T$ task vectors into $M < T$ basis vectors while preserving the functionality of task arithmetic. By representing each task vector as a structured linear combination of basis atoms, our approach supports standard operations such as addition, negation, as well as more advanced arithmetic ones. The framework is orthogonal to other efficiency-oriented improvements in task arithmetic and can be used in combination with them. We provide theoretical analysis showing that basis compression retains addition generalization guarantees and enables principled unlearning, with error bounds depending on reconstruction quality. Empirically, our proposed basis construction methods consistently outperform heuristic basis construction baselines and, in some cases, even surpass the performance of full task vector collections across diverse downstream applications while reducing storage and computational requirements. The code is available at https://github.com/uiuctml/TaskVectorBasis.
• Abstract（参考訳）: タスクベクトル上の線形操作を通じて下流タスクを表現するタスク算術は、様々な設定で知識を伝達するための単純かつ強力なパラダイムとして登場した。 しかし、タスクベクトルの大規模なコレクションを維持することは、ストレージと計算の両方においてスケーラビリティの課題をもたらす。 本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M < T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。 このフレームワークは、タスク演算における他の効率指向の改善と直交しており、それらと組み合わせて使用することができる。 基礎圧縮が加算一般化の保証を維持し、復調品質に応じて誤り境界を持つ原則的アンラーニングを可能にすることを示す理論解析を提供する。 経験的に,提案手法はヒューリスティックな基礎構築ベースラインを一貫して上回り,場合によっては下流の様々なアプリケーションにまたがるタスクベクトルコレクションの性能を上回り,ストレージや計算要求を低減させる。 コードはhttps://github.com/uiuctml/TaskVectorBasisで入手できる。

関連論文リスト

• On Fairness of Task Arithmetic: The Role of Task Vectors [1.236974227340167]
  本研究では,タスクベクトルの操作が,復号化パリティや等化オッドなどの公平度指標に与える影響について検討する。 本研究は, モデル編集の公正性に関する新たな知見を提供し, 公平性を意識し, 責任あるモデル編集実践の基盤を確立するものである。
  論文  参考訳（メタデータ） (2025-05-30T06:34:01Z)
• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Task Arithmetic Through The Lens Of One-Shot Federated Learning [3.8230727103887943]
  Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。 タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。 フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
  論文  参考訳（メタデータ） (2024-11-27T18:53:41Z)
• Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
  重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。 それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。 これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T08:39:25Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。