論文の概要: Parameter-Efficient Multi-Task Learning via Progressive Task-Specific Adaptation
- arxiv url: http://arxiv.org/abs/2509.19602v1
- Date: Tue, 23 Sep 2025 21:51:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.619465
- Title: Parameter-Efficient Multi-Task Learning via Progressive Task-Specific Adaptation
- Title（参考訳）: プログレッシブタスク特化適応によるパラメータ効率の良いマルチタスク学習
- Authors: Neeraj Gangwar, Anshuka Rangi, Rishabh Deshmukh, Holakou Rahmanian, Yesh Dattatreya, Nickvash Kani,
- Abstract要約: タスク固有のマルチタスク適応を導入し、マルチタスク学習のための新しいパラメータ効率のアプローチを提案する。
提案手法は,訓練可能なパラメータの数を削減しつつ,単一タスクの微調整に対してより優れた相対的改善を実現する。
- 参考スコア（独自算出の注目度）: 5.461305353111217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient fine-tuning methods have emerged as a promising solution for adapting pre-trained models to various downstream tasks. While these methods perform well in single-task learning, extending them to multi-task learning exacerbates common challenges, such as task interference and negative transfer, due to the limited number of trainable parameters. To address these issues, we introduce progressive task-specific multi-task adaptation, a novel parameter-efficient approach for multi-task learning. This approach introduces adapter modules in a pre-trained model such that these modules are shared across all tasks in the initial layers and become progressively more task-specific in the later layers. The motivation is to reduce the conflicts among tasks by allowing transfer learning across all tasks in the initial layers and enabling task-specific learning toward the prediction heads. Additionally, we propose a gradient-based approach for computing task similarity and use this measure to allocate similar tasks to the shared adapter modules. Our task similarity method introduces minimal overhead in the pipeline. We evaluate our approach by adapting the Swin Transformer for dense prediction tasks. Experiments on the PASCAL and NYUD-v2 datasets demonstrate that our approach outperforms a fully fine-tuned multi-task model while requiring only one-fifth of the trainable parameters. This approach achieves better relative improvement to single-task fine-tuning while reducing the number of trainable parameters and surpasses the current state-of-the-art methods for parameter-efficient multi-task learning.
- Abstract（参考訳）: パラメータ効率のよい微調整手法は、様々な下流タスクに事前学習されたモデルを適用するための有望な解決策として現れてきた。
これらの手法はシングルタスク学習ではうまく機能するが、マルチタスク学習に拡張することで、訓練可能なパラメータの数が限られているため、タスクの干渉や負の移動といった共通の課題が悪化する。
これらの課題に対処するために,マルチタスク学習のための新しいパラメータ効率アプローチであるプログレッシブタスク特化マルチタスク適応を導入する。
このアプローチでは、事前訓練されたモデルでアダプタモジュールを導入し、これらのモジュールは初期レイヤ内のすべてのタスク間で共有され、後期レイヤでは徐々にタスク固有のものになっていきます。
モチベーションは、初期層内の全てのタスクをまたいだ伝達学習を可能とし、タスク固有の学習を予測ヘッドに向けたものにすることで、タスク間の衝突を減らすことである。
さらに,タスク類似性を計算するための勾配に基づく手法を提案し,これを用いて類似したタスクを共用アダプタモジュールに割り当てる。
我々のタスク類似性手法はパイプラインに最小限のオーバーヘッドをもたらす。
我々は,Swin Transformerを高密度予測タスクに適用することにより,我々のアプローチを評価する。
PASCALとNYUD-v2データセットの実験では、トレーニング可能なパラメータの5分の1しか必要とせず、完全に微調整されたマルチタスクモデルよりも優れていることが示された。
このアプローチは、訓練可能なパラメータの数を減らし、パラメータ効率のよいマルチタスク学習の最先端手法を超越しながら、シングルタスクの微調整よりも優れた相対的改善を実現する。
関連論文リスト
- Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。
ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。
ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
論文 参考訳（メタデータ） (2025-01-23T07:49:24Z) - Why Train Everything? Tint a Single Layer for Multi-task Model Merging [17.496018757317824]
モデルマージは独立して微調整されたモデルを単一のマルチタスクモデルに統合し、ジョイントトレーニングの柔軟な代替手段を提供する。
多くの既存のモデルマージ手法は、追加のタスク固有のコンポーネントを導入し、複雑さを増し、追加の修正を必要とする。
単一のレイヤだけを更新することで、モデルマージを改善する軽量かつ高効率なアプローチであるModel Tintingを提案する。
論文 参考訳（メタデータ） (2024-12-26T07:42:06Z) - Quantifying Task Priority for Multi-Task Optimization [44.601029688423914]
マルチタスク学習の目標は、単一の統合ネットワーク内で多様なタスクを学習することである。
マルチタスク学習のための接続強度に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-05T06:52:29Z) - VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense
Scene Understanding [6.816428690763012]
大規模な事前訓練モデルを活用するための標準的なアプローチは、下流タスクのすべてのモデルパラメータを微調整することである。
本稿では,複数のタスクから知識を共有するVMT-Adapterを提案する。
また、ダウンプロジェクションとアッププロジェクションの間で共有パラメータを学習することで、トレーニング可能なパラメータをさらに削減するVMT-Adapter-Liteを提案する。
論文 参考訳（メタデータ） (2023-12-14T08:25:04Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。