論文の概要: Efficient Multi-task Prompt Tuning for Recommendation

• arxiv url: http://arxiv.org/abs/2408.17214v1
• Date: Fri, 30 Aug 2024 11:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 16:53:43.235000
• Title: Efficient Multi-task Prompt Tuning for Recommendation
• Title（参考訳）: 推薦のための効率的なマルチタスクプロンプトチューニング
• Authors: Ting Bai, Le Huang, Yue Yu, Cheng Yang, Cheng Hou, Zhe Zhao, Chuan Shi,
• Abstract要約: 本稿では,タスク非依存とトレーニング効率の問題に対処するため,新しい2段階のプロンプトチューニングMTLフレームワーク(MPT-Rec)を提案する。 MPT-Rec は SOTA マルチタスク学習法と比較して最高の性能を達成している。
• 参考スコア（独自算出の注目度）: 44.494367787067006
• License:
• Abstract: With the expansion of business scenarios, real recommender systems are facing challenges in dealing with the constantly emerging new tasks in multi-task learning frameworks. In this paper, we attempt to improve the generalization ability of multi-task recommendations when dealing with new tasks. We find that joint training will enhance the performance of the new task but always negatively impact existing tasks in most multi-task learning methods. Besides, such a re-training mechanism with new tasks increases the training costs, limiting the generalization ability of multi-task recommendation models. Based on this consideration, we aim to design a suitable sharing mechanism among different tasks while maintaining joint optimization efficiency in new task learning. A novel two-stage prompt-tuning MTL framework (MPT-Rec) is proposed to address task irrelevance and training efficiency problems in multi-task recommender systems. Specifically, we disentangle the task-specific and task-sharing information in the multi-task pre-training stage, then use task-aware prompts to transfer knowledge from other tasks to the new task effectively. By freezing parameters in the pre-training tasks, MPT-Rec solves the negative impacts that may be brought by the new task and greatly reduces the training costs. Extensive experiments on three real-world datasets show the effectiveness of our proposed multi-task learning framework. MPT-Rec achieves the best performance compared to the SOTA multi-task learning method. Besides, it maintains comparable model performance but vastly improves the training efficiency (i.e., with up to 10% parameters in the full training way) in the new task learning.
• Abstract（参考訳）: ビジネスシナリオの拡大に伴い、真のレコメンデータシステムは、マルチタスク学習フレームワークにおいて、常に新しいタスクに対処する上で、課題に直面している。 本稿では,新しいタスクに対処する際のマルチタスクレコメンデーションの一般化能力の向上を試みる。 共同学習によって新しいタスクの性能は向上するが,ほとんどのマルチタスク学習手法では,既存のタスクに悪影響を及ぼすことが常にある。 さらに、新しいタスクを伴うこのような再訓練機構は、トレーニングコストを増大させ、マルチタスクレコメンデーションモデルの一般化能力を制限する。 そこで本研究では,新しいタスク学習における協調最適化の効率を維持しつつ,異なるタスク間で適切な共有機構を設計することを目的とする。 マルチタスクレコメンデータシステムにおけるタスク非依存とトレーニング効率の問題に対処するために,新しい2段階のプロンプトチューニングMTLフレームワーク(MPT-Rec)を提案する。 具体的には、タスク固有の情報とタスク共有情報をマルチタスク事前学習段階で切り離し、タスク認識プロンプトを使用して他のタスクからの知識を新しいタスクに効果的に転送する。 事前学習タスクのパラメータを凍結することにより、MPT-Recは新しいタスクによってもたらされる負の影響を解消し、トレーニングコストを大幅に削減する。 3つの実世界のデータセットに対する大規模な実験は、提案したマルチタスク学習フレームワークの有効性を示す。 MPT-Rec は SOTA マルチタスク学習法と比較して最高の性能を達成している。 さらに、新しいタスク学習において、同等のモデルパフォーマンスを維持しながら、トレーニング効率(すなわち、最大10%のパラメータを含む)を大幅に改善する。

関連論文リスト

• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation [3.6683171094134805]
  継続的な学習には、長期にわたって複数のタスクの知識を取得することが含まれる。 この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。 提案手法は,新しいタスクの性能を最大化しつつ,忘れることのゼロを保証しようとするものである。
  論文  参考訳（メタデータ） (2023-11-26T12:36:05Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Exploring the Role of Task Transferability in Large-Scale Multi-Task Learning [28.104054292437525]
  マルチタスク表現学習におけるタスクのスケールと関連性の影響を解消する。 目標タスクが事前に分かっている場合、関連するタスクのより小さなセットでのトレーニングは、大規模なマルチタスクトレーニングと競合する。
  論文  参考訳（メタデータ） (2022-04-23T18:11:35Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Knowledge Distillation for Multi-task Learning [38.20005345733544]
  マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。 本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T08:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。