論文の概要: Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

• arxiv url: http://arxiv.org/abs/2512.01461v1
• Date: Mon, 01 Dec 2025 09:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.786495
• Title: Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging
• Title（参考訳）: 定常的、定常的効率:マルチタスクマージにおけるモデルパーソナリティの保存
• Authors: Kuangpu Guo, Yuhe Ding, Jian Liang, Zilei Wang, Ran He,
• Abstract要約: Decomposition, Thresholding, and Scaling (DTS)は近似ベースのパーソナライズされたマージフレームワークである。 DTSは、最小のストレージオーバーヘッドでタスク固有の情報を保存する。 タスク特性のセマンティックな類似性に基づいて、DTSをデータフリーでタスク固有の情報を融合する変種で拡張する。
• 参考スコア（独自算出の注目度）: 62.61159948488935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a promising paradigm for enabling multi-task capabilities without additional training. However, existing methods often experience substantial performance degradation compared with individually fine-tuned models, even on similar tasks, underscoring the need to preserve task-specific information. This paper proposes Decomposition, Thresholding, and Scaling (DTS), an approximation-based personalized merging framework that preserves task-specific information with minimal storage overhead. DTS first applies singular value decomposition to the task-specific information and retains only a small subset of singular values and vectors. It then introduces a novel thresholding strategy that partitions singular vector elements into groups and assigns a scaling factor to each group. To enable generalization to unseen tasks, we further extend DTS with a variant that fuses task-specific information in a data-free manner based on the semantic similarity of task characteristics. Extensive experiments demonstrate that DTS consistently outperforms state-of-the-art baselines while requiring only 1\% additional storage per task. Furthermore, experiments on unseen tasks show that the DTS variant achieves significantly better generalization performance. Our code is available at https://github.com/krumpguo/DTS.
• Abstract（参考訳）: モデルマージは、追加のトレーニングなしでマルチタスク機能を実現するための有望なパラダイムとして登場した。 しかしながら、既存の手法は、タスク固有の情報を保存する必要性を強調し、類似のタスクであっても、個別に調整されたモデルと比較して、大幅なパフォーマンス劣化を経験することが多い。 本稿では、タスク固有の情報を最小限のストレージオーバーヘッドで保存する近似ベースのパーソナライズ・マージ・フレームワークであるDTS(Decomposition, Thresholding, and Scaling)を提案する。 DTSはまず、タスク固有の情報に特異値分解を適用し、特異値とベクトルの小さな部分集合のみを保持する。 次に、特異ベクトル要素を群に分割し、各群にスケーリング係数を割り当てる新しいしきい値戦略を導入する。 そこで本研究では、タスクの特徴のセマンティックな類似性に基づいて、データフリーな方法でタスク固有の情報を融合する変種を用いて、DTSをさらに拡張する。 大規模な実験では、DTSはタスクあたり1倍のストレージを必要とする一方で、最先端のベースラインを一貫して上回っている。 さらに、未知のタスクに対する実験により、DTS変種はより優れた一般化性能を達成することが示された。 私たちのコードはhttps://github.com/krumpguo/DTS.comで公開されています。

関連論文リスト

• StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets [14.867396697566257]
  部分学習のセットアップをゼロショット設定に拡張し、複数のデータセット上でマルチタスクモデルをトレーニングします。 我々の方法であるStableMTLは、遅延回帰のために画像生成装置を再利用する。 タスク毎の損失に対して、注意深いバランスを必要とするのではなく、統一された潜伏損失を採用し、より多くのタスクにシームレスなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-06-09T17:59:59Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• UniTS: A Unified Multi-Task Time Series Model [31.675845788410246]
  UniTSは、予測タスクと生成タスクを単一のフレームワークに統合した、統合されたマルチタスク時系列モデルである。 UniTSは、人間の活動センサー、ヘルスケア、エンジニアリング、ファイナンスにまたがる38のデータセットでテストされている。
  論文  参考訳（メタデータ） (2024-02-29T21:25:58Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。