論文の概要: DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging
- arxiv url: http://arxiv.org/abs/2508.01148v1
- Date: Sat, 02 Aug 2025 02:13:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:21.729258
- Title: DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging
- Title（参考訳）: DisTaC:ロバストモデル統合のための蒸留によるタスクベクトルの条件付け
- Authors: Kotaro Yoshida, Yuji Naraki, Takafumi Horie, Ryotaro Shimizu, Hiroki Naganuma,
- Abstract要約: 統合プロセスには特に2つの要因がある。タスクベクトルノルムの格差と、ソースモデルの信頼性の低さである。
本稿では,これらの問題のあるタスクベクトルをマージ前にプリコンディションする新しい手法であるDisTaCを提案する。
本研究では, DisTaC を用いたタスクベクトルのプレコンディショニングにより, 有害な特性を示すモデルの統合に成功できることを実証した。
- 参考スコア（独自算出の注目度）: 1.3107174618549584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging has emerged as an efficient and flexible paradigm for multi-task learning, with numerous methods being proposed in recent years. However, these state-of-the-art techniques are typically evaluated on benchmark suites that are highly favorable to model merging, and their robustness in more realistic settings remains largely unexplored. In this work, we first investigate the vulnerabilities of model-merging methods and pinpoint the source-model characteristics that critically underlie them. Specifically, we identify two factors that are particularly harmful to the merging process: (1) disparities in task vector norms, and (2) the low confidence of the source models. To address this issue, we propose DisTaC (Distillation for Task vector Conditioning), a novel method that pre-conditions these problematic task vectors before the merge. DisTaC leverages knowledge distillation to adjust a task vector's norm and increase source-model confidence while preserving its essential task-specific knowledge. Our extensive experiments demonstrate that by pre-conditioning task vectors with DisTaC, state-of-the-art merging techniques can successfully integrate models exhibiting the harmful traits -- where they would otherwise fail -- achieving significant performance gains.
- Abstract（参考訳）: モデルマージはマルチタスク学習のための効率的かつ柔軟なパラダイムとして登場し、近年多くの手法が提案されている。
しかしながら、これらの最先端技術は通常、モデルマージに非常に好適なベンチマークスイートで評価され、より現実的な設定での堅牢性はほとんど探索されていない。
そこで本研究では,まずモデルマージ手法の脆弱性を調査し,これらを重要視するソースモデルの特徴を明らかにする。
具体的には,(1)タスクベクトルノルムの相違,(2)ソースモデルの信頼性の低さという,統合プロセスに特に有害な2つの要因を同定する。
この問題に対処するために,これらの問題のあるタスクベクトルをマージ前に前処理する新しい手法であるDisTaC(Distillation for Task vector Conditioning)を提案する。
DisTaCは、知識蒸留を利用してタスクベクトルのノルムを調整し、本質的なタスク固有知識を維持しながら、ソースモデルの信頼性を高める。
我々の広範な実験は、DisTaCでタスクベクトルを事前条件付けすることで、最先端のマージ技術が有害な特性を示すモデル(そうでなければ失敗する)をうまく統合し、大幅なパフォーマンス向上を達成することを実証している。
関連論文リスト
- SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging [60.83635006372403]
textttSE-Mergingは自己拡張型モデルマージフレームワークである。
textttSE-Mergingは、追加のトレーニングなしで動的モデルのマージを実現することを示す。
論文 参考訳（メタデータ） (2025-06-22T18:38:41Z) - Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [16.667053306761364]
マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。
既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。
本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
論文 参考訳（メタデータ） (2025-05-29T08:11:31Z) - LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。
我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
論文 参考訳（メタデータ） (2025-02-15T10:18:46Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳（メタデータ） (2024-11-27T20:08:55Z) - Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。
これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。
本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
論文 参考訳（メタデータ） (2024-10-19T08:39:21Z) - The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse [25.002218722102505]
モデルマージは、特定のタスクでトレーニングされた複数のエキスパートモデルの重みを、単一のマルチタスクモデルに効率的に結合することを目的としている。
この研究は、"非ローカル"マージのより困難なシナリオを探求する。
標準的なマージ技術は、この非局所的な環境で効果的に一般化できないことが多い。
本稿では,タスク毎のマージモデルの出力アクティベーションを再スケール・シフトするマルチタスク手法を提案する。
論文 参考訳（メタデータ） (2024-10-16T17:41:59Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。