Fugu-MT 論文翻訳(概要): MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning

論文の概要: MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning

arxiv url: http://arxiv.org/abs/2403.20320v1
Date: Fri, 29 Mar 2024 17:43:58 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 14:55:26.082042
Title: MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning
Title（参考訳）: MTLoRA:効率的なマルチタスク学習のための低ランク適応手法
Authors: Ahmed Agiza, Marina Neseem, Sherief Reda,
Abstract要約: 大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
参考スコア（独自算出の注目度）: 1.4396109429521227
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adapting models pre-trained on large-scale datasets to a variety of downstream tasks is a common strategy in deep learning. Consequently, parameter-efficient fine-tuning methods have emerged as a promising way to adapt pre-trained models to different tasks while training only a minimal number of parameters. While most of these methods are designed for single-task adaptation, parameter-efficient training in Multi-Task Learning (MTL) architectures is still unexplored. In this paper, we introduce MTLoRA, a novel framework for parameter-efficient training of MTL models. MTLoRA employs Task-Agnostic and Task-Specific Low-Rank Adaptation modules, which effectively disentangle the parameter space in MTL fine-tuning, thereby enabling the model to adeptly handle both task specialization and interaction within MTL contexts. We applied MTLoRA to hierarchical-transformer-based MTL architectures, adapting them to multiple downstream dense prediction tasks. Our extensive experiments on the PASCAL dataset show that MTLoRA achieves higher accuracy on downstream tasks compared to fully fine-tuning the MTL model while reducing the number of trainable parameters by 3.6x. Furthermore, MTLoRA establishes a Pareto-optimal trade-off between the number of trainable parameters and the accuracy of the downstream tasks, outperforming current state-of-the-art parameter-efficient training methods in both accuracy and efficiency. Our code is publicly available.
Abstract（参考訳）: 大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。その結果、パラメータ効率のよい微調整手法が、最小限のパラメータのみを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。これらの手法の多くはシングルタスク適応のために設計されているが、マルチタスク学習(MTL)アーキテクチャにおけるパラメータ効率のトレーニングはまだ未検討である。本稿では,MTLモデルのパラメータ効率向上のための新しいフレームワークであるMTLoRAを紹介する。 MTLoRAはタスク非依存およびタスク特化低ランク適応モジュールを採用しており、MTL微調整においてパラメータ空間を効果的に切り離すことで、MTLコンテキスト内でのタスクの特殊化とインタラクションの両処理を可能にする。 MTLoRAを階層変換器ベースMTLアーキテクチャに適用し,複数の下流密度予測タスクに適用した。 PASCALデータセットに関する広範な実験により、MTLoRAは、トレーニング可能なパラメータの数を3.6倍に減らしながら、MTLモデルを完全に微調整するよりも、下流タスクの精度が高いことが示された。さらに、MTLoRAは、トレーニング可能なパラメータの数と下流タスクの精度との間のパレート最適トレードオフを確立し、現在の最先端パラメータ効率のトレーニング手法を精度と効率の両方で上回る。私たちのコードは公開されています。

関連論文リスト

MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models [29.655807841018497]
大規模言語モデル(LLM)の微調整手法を提案する。提案手法は,各クライアントモデルの構造を利用して,他のクライアントのタスクやデータ分散を考慮した学習手法を実現する。実験結果は,異なるデータセットとモデルを用いて,提案手法の有効性を実証した。
論文参考訳（メタデータ） (2024-10-20T22:24:40Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
論文参考訳（メタデータ） (2024-08-02T18:05:10Z)
MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文参考訳（メタデータ） (2024-06-17T10:12:45Z)
Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文参考訳（メタデータ） (2023-05-15T06:40:56Z)
AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
論文参考訳（メタデータ） (2022-11-28T04:24:38Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-09-19T02:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。