論文の概要: Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic

• arxiv url: http://arxiv.org/abs/2502.01015v4
• Date: Thu, 09 Oct 2025 05:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.360849
• Title: Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic
• Title（参考訳）: Task Vector Bases: Compressed Task Arithmeticのための統一されたスケーラブルなフレームワーク
• Authors: Siqi Zeng, Yifei He, Meitong Liu, Weiqiu You, Yifan Hao, Yao-Hung Hubert Tsai, Makoto Yamada, Han Zhao,
• Abstract要約: 本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。
• 参考スコア（独自算出の注目度）: 24.40854328492979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task arithmetic, representing downstream tasks through linear operations on task vectors, has emerged as a simple yet powerful paradigm for transferring knowledge across diverse settings. However, maintaining a large collection of task vectors introduces scalability challenges in both storage and computation. We propose Task Vector Bases, a framework compressing $T$ task vectors into $M < T$ basis vectors while preserving the functionality of task arithmetic. By representing each task vector as a structured linear combination of basis atoms, our approach supports standard operations such as addition, negation, as well as more advanced arithmetic ones. The framework is orthogonal to other efficiency-oriented improvements in task arithmetic and can be used in combination with them. We provide theoretical analysis showing that basis compression retains addition generalization guarantees and enables principled unlearning, with error bounds depending on reconstruction quality. Empirically, our proposed basis construction methods consistently outperform heuristic basis construction baselines and, in some cases, even surpass the performance of full task vector collections across diverse downstream applications while reducing storage and computational requirements. The code is available at https://github.com/uiuctml/TaskVectorBasis.
• Abstract（参考訳）: タスクベクトル上の線形操作を通じて下流タスクを表現するタスク算術は、様々な設定で知識を伝達するための単純かつ強力なパラダイムとして登場した。 しかし、タスクベクトルの大規模なコレクションを維持することは、ストレージと計算の両方においてスケーラビリティの課題をもたらす。 本稿では,タスク演算の機能を維持しつつ,$T$タスクベクトルを$M < T$ベースベクトルに圧縮するフレームワークであるTask Vector Basesを提案する。 各タスクベクトルを基底原子の構造的線形結合として表現することにより、より高度な算術演算だけでなく、加算や否定といった標準的な演算もサポートする。 このフレームワークは、タスク演算における他の効率指向の改善と直交しており、それらと組み合わせて使用することができる。 基礎圧縮が加算一般化の保証を維持し、復調品質に応じて誤り境界を持つ原則的アンラーニングを可能にすることを示す理論解析を提供する。 経験的に,提案手法はヒューリスティックな基礎構築ベースラインを一貫して上回り,場合によっては下流の様々なアプリケーションにまたがるタスクベクトルコレクションの性能を上回り,ストレージや計算要求を低減させる。 コードはhttps://github.com/uiuctml/TaskVectorBasisで入手できる。

関連論文リスト

• Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors [7.805099851866648]
  事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 タスク算術は、タスクベクトルに基づく単純な算術演算付加と否定に基づく有望な解として最近登場した。 本稿では,差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI)を提案する。
  論文  参考訳（メタデータ） (2025-11-22T09:01:05Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Variational Task Vector Composition [53.476598858325985]
  本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
  論文  参考訳（メタデータ） (2025-09-21T02:46:02Z)
• On Fairness of Task Arithmetic: The Role of Task Vectors [1.236974227340167]
  本研究では,タスクベクトルの操作が,復号化パリティや等化オッドなどの公平度指標に与える影響について検討する。 本研究は, モデル編集の公正性に関する新たな知見を提供し, 公平性を意識し, 責任あるモデル編集実践の基盤を確立するものである。
  論文  参考訳（メタデータ） (2025-05-30T06:34:01Z)
• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Task Arithmetic Through The Lens Of One-Shot Federated Learning [3.8230727103887943]
  Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。 タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。 フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
  論文  参考訳（メタデータ） (2024-11-27T18:53:41Z)
• Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
  本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。 認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
  論文  参考訳（メタデータ） (2024-03-20T00:37:19Z)
• Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
  重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。 それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。 これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T08:39:25Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• An Algorithm for Routing Vectors in Sequences [0.0]
  本稿では,ベクトルの列を列挙し,指定された長さとベクトルサイズを持つ新しい列を演算するルーティングアルゴリズムを提案する。 各出力ベクトルは「ビット当たりのバン」を最大化し、入力ベクトルをより正確に予測することで、使用に対するネット利益とデータ無視に対するネットコストの差を最大化する。
  論文  参考訳（メタデータ） (2022-11-20T16:20:45Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。