論文の概要: STEM: Unleashing the Power of Embeddings for Multi-task Recommendation

• arxiv url: http://arxiv.org/abs/2308.13537v1
• Date: Wed, 16 Aug 2023 12:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-03 21:44:04.056423
• Title: STEM: Unleashing the Power of Embeddings for Multi-task Recommendation
• Title（参考訳）: STEM:マルチタスクレコメンデーションのための埋め込みのパワーの解放
• Authors: Liangcai Su, Junwei Pan, Ximei Wang, Xi Xiao, Shijie Quan, Xihua Chen, Jie Jiang
• Abstract要約: STEM-Net(Shared and Task-specific EMbeddings)と呼ばれる新しいパラダイムを導入する。 STEM-Netは、共有およびタスク固有の埋め込みテーブルと、これらの埋め込みの学習を容易にするために、停止段階の操作を備えたカスタマイズされたゲーティングネットワークを備えている。 3つのパブリックMTLレコメンデーションデータセットの総合的な評価は、STEM-Netが最先端モデルよりかなり優れていることを示している。
• 参考スコア（独自算出の注目度）: 22.308601120778555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) has gained significant popularity in recommendation systems as it enables the simultaneous optimization of multiple objectives. A key challenge in MTL is the occurrence of negative transfer, where the performance of certain tasks deteriorates due to conflicts between tasks. Existing research has explored negative transfer by treating all samples as a whole, overlooking the inherent complexities within them. To this end, we delve into the intricacies of samples by splitting them based on the relative amount of positive feedback among tasks. Surprisingly, negative transfer still occurs in existing MTL methods on samples that receive comparable feedback across tasks. It is worth noting that existing methods commonly employ a shared-embedding paradigm, and we hypothesize that their failure can be attributed to the limited capacity of modeling diverse user preferences across tasks using such universal embeddings. In this paper, we introduce a novel paradigm called Shared and Task-specific EMbeddings (STEM) that aims to incorporate both shared and task-specific embeddings to effectively capture task-specific user preferences. Under this paradigm, we propose a simple model STEM-Net, which is equipped with shared and task-specific embedding tables, along with a customized gating network with stop-gradient operations to facilitate the learning of these embeddings. Remarkably, STEM-Net demonstrates exceptional performance on comparable samples, surpassing the Single-Task Like model and achieves positive transfer. Comprehensive evaluation on three public MTL recommendation datasets demonstrates that STEM-Net outperforms state-of-the-art models by a substantial margin, providing evidence of its effectiveness and superiority.
• Abstract（参考訳）: マルチタスク学習(mtl)は、複数の目的を同時に最適化できるため、レコメンデーションシステムで大きな人気を集めている。 MTLの重要な課題は、タスク間の衝突によって特定のタスクのパフォーマンスが低下する負の転送の発生である。 既存の研究は、すべてのサンプル全体を扱い、それらの内在する複雑さを見下ろすことで、負の移動を探求している。 この目的のために,タスク間の肯定的なフィードバックの相対的な量に基づいて,サンプルを分割することで,サンプルの複雑さを掘り下げる。 驚くべきことに、タスク間で同等のフィードバックを受けるサンプルの既存のMTLメソッドでは、依然として負の転送が発生する。 既存の手法では共有埋め込みのパラダイムが一般的であり、それらの失敗は、そのような普遍的な埋め込みを用いてタスク間で多様なユーザの嗜好をモデル化する限られた能力に起因していると仮定する。 本稿では,共有およびタスク固有組込み(stem)と呼ばれる新しいパラダイムを導入し,タスク固有のユーザ嗜好を効果的に捉えるために,共有およびタスク固有組込みを組み込むことを目的とする。 本パラダイムでは,共有およびタスク固有の埋め込みテーブルを備えたシンプルなモデルSTEM-Netと,これらの埋め込みの学習を容易にするための停止段階演算を備えたカスタマイズされたゲーティングネットワークを提案する。 注目すべきことに、STEM-Netは、Single-Task Likeモデルを上回る優れたパフォーマンスを示し、ポジティブな転送を実現している。 3つのパブリックMTLレコメンデーションデータセットの総合的な評価は、STEM-Netが最先端のモデルよりかなり優れており、その有効性と優位性を示す証拠であることを示している。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• Provable Pathways: Learning Multiple Tasks over Multiple Paths [31.43753806123382]
  複数の経路上の複数のタスクを学習する経験的リスク最小化問題に対する新しい一般化境界を開発する。 同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
  論文  参考訳（メタデータ） (2023-03-08T02:25:28Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Controllable Pareto Multi-Task Learning [55.945680594691076]
  マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。 固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。 本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T11:53:55Z)
• Boosting Share Routing for Multi-task Learning [0.12891210250935145]
  マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。 複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。 本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T12:37:19Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• A Unified Object Motion and Affinity Model for Online Multi-Object Tracking [127.5229859255719]
  オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。 UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。 我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
  論文  参考訳（メタデータ） (2020-03-25T09:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。