Fugu-MT 論文翻訳(概要): TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning

論文の概要: TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning

arxiv url: http://arxiv.org/abs/2501.04293v1
Date: Wed, 08 Jan 2025 05:35:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-09 14:56:03.483372
Title: TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning
Title（参考訳）: TADFormer : マルチタスク学習のためのタスク適応動的変換器
Authors: Seungmin Baek, Soyul Lee, Hayeon Jo, Hyesong Choi, Dongbo Min,
Abstract要約: Task-Efficient Dynamic TransFormer, TADFormerは、タスク認識機能適応をきめ細かな方法で実行する新しいPEFTフレームワークである。 TADFormerは、密集したシーン理解タスクにおいて高い精度を実現し、トレーニング可能なパラメータの数を最大8.4倍に削減する。
参考スコア（独自算出の注目度）: 14.888918165109244
License:
Abstract: Transfer learning paradigm has driven substantial advancements in various vision tasks. However, as state-of-the-art models continue to grow, classical full fine-tuning often becomes computationally impractical, particularly in multi-task learning (MTL) setup where training complexity increases proportional to the number of tasks. Consequently, recent studies have explored Parameter-Efficient Fine-Tuning (PEFT) for MTL architectures. Despite some progress, these approaches still exhibit limitations in capturing fine-grained, task-specific features that are crucial to MTL. In this paper, we introduce Task-Adaptive Dynamic transFormer, termed TADFormer, a novel PEFT framework that performs task-aware feature adaptation in the fine-grained manner by dynamically considering task-specific input contexts. TADFormer proposes the parameter-efficient prompting for task adaptation and the Dynamic Task Filter (DTF) to capture task information conditioned on input contexts. Experiments on the PASCAL-Context benchmark demonstrate that the proposed method achieves higher accuracy in dense scene understanding tasks, while reducing the number of trainable parameters by up to 8.4 times when compared to full fine-tuning of MTL models. TADFormer also demonstrates superior parameter efficiency and accuracy compared to recent PEFT methods.
Abstract（参考訳）: トランスファーラーニングのパラダイムは、様々なビジョンタスクにおいて大きな進歩をもたらした。しかし、最先端のモデルが成長を続けるにつれて、古典的な完全な微調整は、特にタスク数に比例して訓練の複雑さが増加するマルチタスク学習(MTL)設定において、計算的に非現実的になることが多い。その結果,近年,MPLアーキテクチャのためのパラメータ効率の良いファインチューニング (PEFT) が検討されている。幾らかの進歩にもかかわらず、これらのアプローチは MTL に不可欠な細粒度でタスク固有の特徴を捕捉する際の限界をまだ示している。本稿では,タスク固有の入力コンテキストを動的に考慮し,タスク認識機能適応をきめ細かな方法で行う新しいPEFTフレームワークであるTADFormerを紹介する。 TADFormerはタスク適応のためのパラメータ効率のプロンプトと動的タスクフィルタ(DTF)を提案し、入力コンテキストに条件付きタスク情報をキャプチャする。 PASCAL-Contextベンチマーク実験により,提案手法は高密度シーン理解タスクにおいて高い精度を実現し,訓練可能なパラメータの最大8.4倍の削減を実現している。 TADFormerは、最近のPEFT法よりも優れたパラメータ効率と精度を示す。

関連論文リスト

Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
論文参考訳（メタデータ） (2024-11-25T06:59:16Z)
AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。最先端の刈り取り法に比べて優れた性能を示す。
論文参考訳（メタデータ） (2024-08-07T17:19:15Z)
MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
論文参考訳（メタデータ） (2024-03-29T17:43:58Z)
VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding [6.816428690763012]
大規模な事前訓練モデルを活用するための標準的なアプローチは、下流タスクのすべてのモデルパラメータを微調整することである。本稿では,複数のタスクから知識を共有するVMT-Adapterを提案する。また、ダウンプロジェクションとアッププロジェクションの間で共有パラメータを学習することで、トレーニング可能なパラメータをさらに削減するVMT-Adapter-Liteを提案する。
論文参考訳（メタデータ） (2023-12-14T08:25:04Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-05-29T05:20:38Z)
Hyper-Decision Transformer for Efficient Online Policy Adaptation [66.91294935068957]
我々は,ごく少数のデモから新しいタスクを一般化できるHyper-Decision Transformer (HDT) と呼ばれる新しいフレームワークを提案する。 1つの専門家によるデモンストレーションと、DTパラメータの0.5%のみ微調整を行うことで、HDTはDTモデル全体を微調整するよりも、目に見えないタスクに迅速に適応できることがわかった。
論文参考訳（メタデータ） (2023-04-17T17:59:32Z)
AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
論文参考訳（メタデータ） (2022-11-28T04:24:38Z)
Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文参考訳（メタデータ） (2022-05-24T10:48:33Z)
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文参考訳（メタデータ） (2022-05-11T17:10:41Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。