論文の概要: STEM: Unleashing the Power of Embeddings for Multi-task Recommendation

• arxiv url: http://arxiv.org/abs/2308.13537v2
• Date: Sun, 7 Jan 2024 01:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 23:12:48.488783
• Title: STEM: Unleashing the Power of Embeddings for Multi-task Recommendation
• Title（参考訳）: STEM:マルチタスクレコメンデーションのための埋め込みのパワーの解放
• Authors: Liangcai Su, Junwei Pan, Ximei Wang, Xi Xiao, Shijie Quan, Xihua Chen, Jie Jiang
• Abstract要約: マルチタスク学習(MTL)の鍵となる課題は負の転送であるが、既存の研究ではすべてのサンプルに対して負の転送が検討されている。 我々は,タスク間の正のフィードバックの相対的な量に応じて,サンプルを分割した。 我々は、共有およびタスク固有の埋め込みの両方を統合することを目的とした、新しい共有およびタスク固有のEMbeddingsパラダイムを導入する。
• 参考スコア（独自算出の注目度）: 22.308601120778555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) has gained significant popularity in recommender systems as it enables simultaneous optimization of multiple objectives. A key challenge in MTL is negative transfer, but existing studies explored negative transfer on all samples, overlooking the inherent complexities within them. We split the samples according to the relative amount of positive feedback among tasks. Surprisingly, negative transfer still occurs in existing MTL methods on samples that receive comparable feedback across tasks. Existing work commonly employs a shared-embedding paradigm, limiting the ability of modeling diverse user preferences on different tasks. In this paper, we introduce a novel Shared and Task-specific EMbeddings (STEM) paradigm that aims to incorporate both shared and task-specific embeddings to effectively capture task-specific user preferences. Under this paradigm, we propose a simple model STEM-Net, which is equipped with an All Forward Task-specific Backward gating network to facilitate the learning of task-specific embeddings and direct knowledge transfer across tasks. Remarkably, STEM-Net demonstrates exceptional performance on comparable samples, achieving positive transfer. Comprehensive evaluation on three public MTL recommendation datasets demonstrates that STEM-Net outperforms state-of-the-art models by a substantial margin. Our code is released at https://github.com/LiangcaiSu/STEM.
• Abstract（参考訳）: マルチタスク学習(mtl)は,複数の目的の同時最適化を可能にするため,レコメンダシステムにおいて大きな注目を集めている。 MTLの鍵となる課題は負の移動であるが、既存の研究では全てのサンプルに対する負の移動を探索し、その中の固有の複雑さを見渡した。 我々は,タスク間の正のフィードバックの相対的な量に応じて,サンプルを分割した。 驚くべきことに、タスク間で同等のフィードバックを受けるサンプルの既存のMTLメソッドでは、依然として負の転送が発生する。 既存の作業では共有埋め込みのパラダイムが一般的であり、さまざまなタスクで多様なユーザの好みをモデル化する能力を制限する。 本稿では,タスク固有のユーザ嗜好を効果的に把握するために,共有およびタスク固有の埋め込み(STEM)パラダイムを導入する。 本パラダイムでは、タスク固有の埋め込みの学習とタスク間の直接知識伝達を容易にするために、All Forward Task-specific Backward Gating Networkを備えたシンプルなモデルSTEM-Netを提案する。 注目すべきは、STEM-Netは、同等のサンプルに対して例外的な性能を示し、正の転送を達成することである。 3つのパブリックMTLレコメンデーションデータセットの総合的な評価は、STEM-Netが最先端モデルよりかなり優れていることを示している。 私たちのコードはhttps://github.com/LiangcaiSu/STEMで公開されています。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• Provable Pathways: Learning Multiple Tasks over Multiple Paths [31.43753806123382]
  複数の経路上の複数のタスクを学習する経験的リスク最小化問題に対する新しい一般化境界を開発する。 同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
  論文  参考訳（メタデータ） (2023-03-08T02:25:28Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Controllable Pareto Multi-Task Learning [55.945680594691076]
  マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。 固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。 本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T11:53:55Z)
• Boosting Share Routing for Multi-task Learning [0.12891210250935145]
  マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。 複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。 本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T12:37:19Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• A Unified Object Motion and Affinity Model for Online Multi-Object Tracking [127.5229859255719]
  オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。 UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。 我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
  論文  参考訳（メタデータ） (2020-03-25T09:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。