論文の概要: Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation

• arxiv url: http://arxiv.org/abs/2505.00009v1
• Date: Sun, 20 Apr 2025 06:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 01:46:36.977963
• Title: Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation
• Title（参考訳）: タスク適応型低ランク表現によるマルチタスク学習における効率的な知識伝達
• Authors: Xiao Zhang, Kangsheng Wang, Tianyu Hu, Huimin Ma,
• Abstract要約: 事前訓練された言語モデルは、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦しむ。 本稿では,タスク適応型低ランク表現(TA-LoRA)を提案する。 16のタスクの実験では、TA-LoRAがフルデータおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 11.955971931186006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) demonstrate remarkable intelligence but struggle with emerging tasks unseen during training in real-world applications. Training separate models for each new task is usually impractical. Multi-task learning (MTL) addresses this challenge by transferring shared knowledge from source tasks to target tasks. As an dominant parameter-efficient fine-tuning method, prompt tuning (PT) enhances MTL by introducing an adaptable vector that captures task-specific knowledge, which acts as a prefix to the original prompt that preserves shared knowledge, while keeping PLM parameters frozen. However, PT struggles to effectively capture the heterogeneity of task-specific knowledge due to its limited representational capacity. To address this challenge, we propose Task-Adaptive Low-Rank Representation (TA-LoRA), an MTL method built on PT, employing the low-rank representation to model task heterogeneity and a fast-slow weights mechanism where the slow weight encodes shared knowledge, while the fast weight captures task-specific nuances, avoiding the mixing of shared and task-specific knowledge, caused by training low-rank representations from scratch. Moreover, a zero-initialized attention mechanism is introduced to minimize the disruption of immature low-rank components on original prompts during warm-up epochs. Experiments on 16 tasks demonstrate that TA-LoRA achieves state-of-the-art performance in full-data and few-shot settings while maintaining superior parameter efficiency.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、目覚ましい知性を示すが、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦労する。 新しいタスクごとに別々のモデルをトレーニングするのは、通常非現実的です。 マルチタスク学習(MTL)は、ソースタスクからターゲットタスクへの共有知識の転送によってこの問題に対処する。 支配的なパラメータ効率の微調整法として、プロンプトチューニング(PT)は、PLMパラメータを凍結したまま、共有知識を保持する元のプロンプトのプレフィックスとして機能するタスク固有の知識をキャプチャする適応可能なベクトルを導入することで、MLLを強化する。 しかしPTは、その限られた表現能力のため、タスク固有の知識の不均一性を効果的に捉えるのに苦労している。 この課題に対処するために,PT 上に構築された MTL 手法であるタスク適応型低ランク表現 (TA-LoRA) を提案し,低ランク表現をモデルタスクの不均一性に適用し,低ウェイトが共有知識を符号化し,高速ウェイトがタスク固有ニュアンスを捕捉し,低ランク表現をスクラッチからトレーニングすることによる共有知識とタスク固有知識の混在を回避する。 また,未熟な低ランク成分の温暖化期における本来のプロンプトの破壊を最小限に抑えるため,ゼロ初期化アテンション機構を導入している。 16のタスクの実験では、TA-LoRAはパラメータ効率を向上しつつ、全データおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。

関連論文リスト

• Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge [12.367471198090655]
  Task Arithmetic (TA)は、微調整から派生したタスクベクトルを組み合わせることで、マルチタスク学習とタスク忘れを可能にするが、一般的な指示追従行動からタスク固有の知識を分離するのに苦労する。 本稿では,命令フォローやタスク固有のコンポーネントとのアライメントに基づいて,階層固有の重みをタスクベクトルに割り当てる新しい手法であるLayer-Aware Task Arithmetic (LATA)を提案する。
  論文  参考訳（メタデータ） (2025-02-27T15:22:14Z)
• TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning [14.888918165109244]
  Task-Efficient Dynamic TransFormer, TADFormerは、タスク認識機能適応をきめ細かな方法で実行する新しいPEFTフレームワークである。 TADFormerは、密集したシーン理解タスクにおいて高い精度を実現し、トレーニング可能なパラメータの数を最大8.4倍に削減する。
  論文  参考訳（メタデータ） (2025-01-08T05:35:07Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。