論文の概要: Task Addition and Weight Disentanglement in Closed-Vocabulary Models

• arxiv url: http://arxiv.org/abs/2511.14569v1
• Date: Tue, 18 Nov 2025 15:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.174992
• Title: Task Addition and Weight Disentanglement in Closed-Vocabulary Models
• Title（参考訳）: 閉語彙モデルにおけるタスクの追加と重みの絡み合い
• Authors: Adam Hazimeh, Alessandro Favero, Pascal Frossard,
• Abstract要約: タスク算術は、事前学習されたテキストオープン語彙モデルを編集するための有望な方法として登場した。 本稿では,クローズドボキャブラリ画像分類モデルにおけるタスク追加について検討する。 事前学習された視覚変換器もタスク演算で編集できることがわかった。
• 参考スコア（独自算出の注目度）: 75.01322212415435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task arithmetic has recently emerged as a promising method for editing pre-trained \textit{open-vocabulary} models, offering a cost-effective alternative to standard multi-task fine-tuning. However, despite the abundance of \textit{closed-vocabulary} models that are not pre-trained with language supervision, applying task arithmetic to these models remains unexplored. In this paper, we deploy and study task addition in closed-vocabulary image classification models. We consider different pre-training schemes and find that \textit{weight disentanglement} -- the property enabling task arithmetic -- is a general consequence of pre-training, as it appears in different pre-trained closed-vocabulary models. In fact, we find that pre-trained closed-vocabulary vision transformers can also be edited with task arithmetic, achieving high task addition performance and enabling the efficient deployment of multi-task models. Finally, we demonstrate that simple linear probing is a competitive baseline to task addition. Overall, our findings expand the applicability of task arithmetic to a broader class of pre-trained models and open the way for more efficient use of pre-trained models in diverse settings.
• Abstract（参考訳）: タスク算術は、最近、事前訓練された \textit{open-vocabulary} モデルを編集するための有望な方法として現れ、標準的なマルチタスクの微調整に代わる費用対効果を提供する。 しかし、言語指導で事前訓練されていない \textit{closed-vocabulary} モデルが豊富にあるにもかかわらず、これらのモデルにタスク算術を適用することは未定である。 本稿では,クローズドボキャブラリ画像分類モデルにおけるタスク追加の展開と検討を行う。 我々は、異なる事前学習スキームを検討し、異なる事前学習された閉語彙モデルに現れるように、タスク演算を可能にする特性である \textit{weight disentanglement} が事前学習の一般的な結果であることを示した。 実際、事前訓練された閉語彙型視覚変換器もタスク演算で編集でき、高いタスク追加性能を実現し、マルチタスクモデルの効率的な展開を可能にする。 最後に、単純な線形探索がタスク追加の競合するベースラインであることを実証する。 全体として、本研究は、タスク算術をより広範な事前学習モデルのクラスに拡張し、多様な設定で事前学習モデルをより効率的に活用するための道を開く。

関連論文リスト

• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Bridging Pre-trained Models and Downstream Tasks for Source Code Understanding [13.65914588243695]
  本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。 我々は、下流データの多様性を豊かにする意味保存変換を利用する。 本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
  論文  参考訳（メタデータ） (2021-12-04T07:21:28Z)
• Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation [4.538165276831437]
  本稿では,事前学習した言語モデルを新しいタスクに適用するための,Auxiliary Tuningと呼ばれるシンプルで効率的な手法を提案する。 条件付きテキスト生成の課題に対して,本手法を実証する。
  論文  参考訳（メタデータ） (2020-06-30T14:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。