論文の概要: Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging

• arxiv url: http://arxiv.org/abs/2510.14697v1
• Date: Thu, 16 Oct 2025 14:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.884137
• Title: Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging
• Title（参考訳）: モデルマージのための知識を考慮したサブ空間におけるタスクベクトルの浄化
• Authors: Bang An, Yibo Yang, Philip Torr, Bernard Ghanem,
• Abstract要約: モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
• 参考スコア（独自算出の注目度）: 83.5273168208788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging aims to integrate task-specific abilities from individually fine-tuned models into a single model without extra training. In recent model merging methods, task vector has become a fundamental building block, as it can encapsulate the residual information from finetuning. However, the merged model often suffers from notable performance degradation due to the conflicts caused by task-irrelevant redundancy in task vectors. Existing efforts in overcoming redundancy by randomly dropping elements in the parameter space involves randomness and lacks knowledge awareness. To address these challenges, in this study, we propose Purifying TAsk Vectors (PAVE) in knowledge-aware subspace. Concretely, we sample some training examples from each task, and feed them into their corresponding fine-tuned models to acquire the covariance matrices before linear layers. We then perform a context-oriented singular value decomposition, which accentuates the weight components most relevant to the target knowledge. As a result, we can split fine-tuned model weights into task-relevant and redundant components in the knowledge-aware subspace, and purify the task vector by pruning the redundant components. To induce fair pruning efforts across models, we further introduce a spectral rank allocation strategy by optimizing a normalized activated pruning error. The task vector purification by our method as a plug-and-play scheme is applicable across various task vector-based merging methods to improve their performance. In experiments, we demonstrate the effectiveness of PAVE across a diverse set of merging methods, tasks, and model architectures.
• Abstract（参考訳）: モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 近年のモデル統合法では,タスクベクトルは微細化から残余情報をカプセル化できるため,基本構造ブロックとなっている。 しかし、統合モデルはタスクベクトルにおけるタスク非関連の冗長性に起因する競合により、しばしば顕著な性能劣化に悩まされる。 パラメータ空間にランダムに要素をドロップすることで、冗長性を克服する既存の努力はランダムさを伴い、知識の認知を欠いている。 本研究では,これらの課題に対処するため,知識を意識したサブ空間におけるTAsk Vectors (PAVE)を提案する。 具体的には、各タスクからトレーニング例をサンプルとして、対応する微調整モデルに入力し、線形層よりも先に共分散行列を取得する。 次に、対象知識に最も関係のある重み成分をアクセントする文脈指向特異値分解を行う。 その結果、細調整されたモデル重みを、知識認識サブ空間内のタスク関連および冗長なコンポーネントに分割し、冗長なコンポーネントを刈り取ることでタスクベクトルを浄化することができる。 モデル間の公平なプルーニングの取り組みを誘導するために、正規化活性化プルーニング誤差を最適化してスペクトルランク割り当て戦略を導入する。 本手法のプラグアンドプレイ方式によるタスクベクトルの浄化は,様々なタスクベクトルベースのマージ手法に適用でき,その性能を向上させることができる。 実験では,多種多様な統合手法,タスク,モデルアーキテクチャにおけるPAVEの有効性を実証した。

関連論文リスト

• Variational Task Vector Composition [53.476598858325985]
  本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
  論文  参考訳（メタデータ） (2025-09-21T02:46:02Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [23.649762835129167]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。