論文の概要: VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding

• arxiv url: http://arxiv.org/abs/2312.08733v2
• Date: Fri, 15 Dec 2023 07:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 12:32:08.002697
• Title: VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding
• Title（参考訳）: VMT-Adapter:マルチタスクシーン理解のためのパラメータ効率の良い伝達学習
• Authors: Yi Xin, Junlong Du, Qiang Wang, Zhiwen Lin, Ke Yan
• Abstract要約: 大規模な事前訓練モデルを活用するための標準的なアプローチは、下流タスクのすべてのモデルパラメータを微調整することである。 本稿では,複数のタスクから知識を共有するVMT-Adapterを提案する。 また、ダウンプロジェクションとアッププロジェクションの間で共有パラメータを学習することで、トレーニング可能なパラメータをさらに削減するVMT-Adapter-Liteを提案する。
• 参考スコア（独自算出の注目度）: 6.816428690763012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained models have achieved remarkable success in various computer vision tasks. A standard approach to leverage these models is to fine-tune all model parameters for downstream tasks, which poses challenges in terms of computational and storage costs. Recently, inspired by Natural Language Processing (NLP), parameter-efficient transfer learning has been successfully applied to vision tasks. However, most existing techniques primarily focus on single-task adaptation, and despite limited research on multi-task adaptation, these methods often exhibit suboptimal training and inference efficiency. In this paper, we first propose an once-for-all Vision Multi-Task Adapter (VMT-Adapter), which strikes approximately O(1) training and inference efficiency w.r.t task number. Concretely, VMT-Adapter shares the knowledge from multiple tasks to enhance cross-task interaction while preserves task-specific knowledge via independent knowledge extraction modules. Notably, since task-specific modules require few parameters, VMT-Adapter can handle an arbitrary number of tasks with a negligible increase of trainable parameters. We also propose VMT-Adapter-Lite, which further reduces the trainable parameters by learning shared parameters between down- and up-projections. Extensive experiments on four dense scene understanding tasks demonstrate the superiority of VMT-Adapter(-Lite), achieving a 3.96%(1.34%) relative improvement compared to single-task full fine-tuning, while utilizing merely ~1% (0.36%) trainable parameters of the pre-trained model.
• Abstract（参考訳）: 大規模事前訓練型モデルは様々なコンピュータビジョンタスクにおいて顕著な成功を収めた。 これらのモデルを活用するための標準的なアプローチは、ダウンストリームタスクのモデルパラメータをすべて微調整することであり、計算とストレージコストの面で問題を引き起こす。 近年,自然言語処理(NLP)にインスパイアされたパラメータ効率の伝達学習が視覚タスクに成功している。 しかし、既存のほとんどの技術はシングルタスク適応に重点を置いており、マルチタスク適応に関する限られた研究にもかかわらず、これらの手法はしばしば準最適トレーニングと推論効率を示す。 本稿では、まず、約O(1)のトレーニングと推論効率w.r.tタスク番号を打つ、一度のビジョン・マルチタスク・アダプタ(VMT-Adapter)を提案する。 具体的には、VMT-Adapterは複数のタスクからの知識を共有し、タスク固有の知識を独立した知識抽出モジュールを介して保存する。 特に、タスク固有のモジュールはパラメータが少ないため、VMT-Adapterはトレーニング可能なパラメータを無視して任意の数のタスクを処理できる。 また,ダウンプロジェクションとアッププロジェクションの共有パラメータを学習することにより,学習可能なパラメータをさらに削減するvmt-adapter-liteを提案する。 4つの密集したシーン理解タスクに関する大規模な実験では、VMT-Adapter(-Lite)が3.96%(1.34%)の相対的な改善を達成し、事前訓練されたモデルのトレーニング可能なパラメータをわずか1%(0.36%)利用した。

関連論文リスト

• ScaLearn: Simple and Highly Parameter-Efficient Task Transfer by Learning to Scale [18.396897413970965]
  ScaLearnは単純かつパラメータ効率の高い2段階MTL法である。 我々はScaLearnが少数の転送パラメータを持つ強いベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T14:01:36Z)
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
  マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
  論文  参考訳（メタデータ） (2023-03-06T03:25:59Z)
• FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks [129.49630356651454]
  ファシオンに着目した視覚・言語タスクのための多タスク学習手法(FAME-ViL)を提案する。 我々のFAME-ViLは、代替案よりも61.5%のパラメータを節約できるが、従来の独立的に訓練されたシングルタスクモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-03-04T19:07:48Z)
• AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
  このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。 本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。 コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-11-28T04:24:38Z)
• Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision Tasks [36.34331439747556]
  本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。 具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
  論文  参考訳（メタデータ） (2022-10-07T00:25:02Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。