論文の概要: Decomposing Task Vectors for Refined Model Editing

• arxiv url: http://arxiv.org/abs/2512.22511v1
• Date: Sat, 27 Dec 2025 07:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.092743
• Title: Decomposing Task Vectors for Refined Model Editing
• Title（参考訳）: 修正モデル編集のためのタスクベクトルの分解
• Authors: Hamed Damirchi, Ehsan Abbasnejad, Zhen Zhang, Javen Shi,
• Abstract要約: 本稿では,各タスクベクトルを2つのコンポーネントに分割する原理的分解法を提案する。 射影にまたがる不変部分空間を同定することにより、我々の手法は概念操作をより正確に制御できる。
• 参考スコア（独自算出の注目度）: 21.799465464971092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained models have transformed machine learning, yet adapting these models effectively to exhibit precise, concept-specific behaviors remains a significant challenge. Task vectors, defined as the difference between fine-tuned and pre-trained model parameters, provide a mechanism for steering neural networks toward desired behaviors. This has given rise to large repositories dedicated to task vectors tailored for specific behaviors. The arithmetic operation of these task vectors allows for the seamless combination of desired behaviors without the need for large datasets. However, these vectors often contain overlapping concepts that can interfere with each other during arithmetic operations, leading to unpredictable outcomes. We propose a principled decomposition method that separates each task vector into two components: one capturing shared knowledge across multiple task vectors, and another isolating information unique to each specific task. By identifying invariant subspaces across projections, our approach enables more precise control over concept manipulation without unintended amplification or diminution of other behaviors. We demonstrate the effectiveness of our decomposition method across three domains: improving multi-task merging in image classification by 5% using shared components as additional task vectors, enabling clean style mixing in diffusion models without generation degradation by mixing only the unique components, and achieving 47% toxicity reduction in language models while preserving performance on general knowledge tasks by negating the toxic information isolated to the unique component. Our approach provides a new framework for understanding and controlling task vector arithmetic, addressing fundamental limitations in model editing operations.
• Abstract（参考訳）: 大規模な事前学習モデルでは機械学習が変化しているが、正確な概念固有の振る舞いを示すためにこれらのモデルを効果的に適用することは、依然として重要な課題である。 タスクベクトルは、微調整されたモデルパラメータと事前訓練されたモデルパラメータの違いとして定義され、望ましい行動に向けてニューラルネットワークを操るメカニズムを提供する。 これにより、特定の振る舞いに合わせて調整されたタスクベクトル専用の大規模なリポジトリが生まれました。 これらのタスクベクトルの算術演算により、大規模なデータセットを必要とせずに、望ましい振る舞いをシームレスに組み合わせることができる。 しかし、これらのベクトルはしばしば、算術演算中に互いに干渉し合うような重なり合う概念を含み、予測不可能な結果をもたらす。 本稿では,各タスクベクトルを,複数のタスクベクトルにまたがる共有知識の取得と,各タスクに固有の情報の分離という,2つのコンポーネントに分割する手法を提案する。 射影全体の不変部分空間を同定することにより、意図しない増幅や他の振る舞いの最小化なしに、概念操作をより正確に制御できる。 画像分類におけるマルチタスクのマージを、共有成分を付加したタスクベクトルとして5%改善し、一意成分のみを混合することにより、生成しない拡散モデルにおけるクリーンなスタイルの混合を可能にするとともに、一意成分から分離した有害情報を否定することで、一般知識タスクの性能を維持しつつ、言語モデルにおける47%の毒性低下を実現する。 提案手法は,モデル編集操作の基本的制約に対処し,タスクベクトル演算の理解と制御を行う新しいフレームワークを提供する。

関連論文リスト

• Escaping Optimization Stagnation: Taking Steps Beyond Task Arithmetic via Difference Vectors [7.805099851866648]
  事前訓練されたモデルを編集するための現在の手法は、主に高い計算コストと限られたスケーラビリティという大きな課題に直面している。 タスク算術は、タスクベクトルに基づく単純な算術演算付加と否定に基づく有望な解として最近登場した。 本稿では,差分ベクトルに基づくAnisotropic Scaling Iterative Algorithm (DV-BASI)を提案する。
  論文  参考訳（メタデータ） (2025-11-22T09:01:05Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Variational Task Vector Composition [53.476598858325985]
  本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
  論文  参考訳（メタデータ） (2025-09-21T02:46:02Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。