論文の概要: Deep Task-specific Bottom Representation Network for Multi-Task Recommendation

• arxiv url: http://arxiv.org/abs/2308.05996v2
• Date: Fri, 18 Aug 2023 01:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 22:04:16.485943
• Title: Deep Task-specific Bottom Representation Network for Multi-Task Recommendation
• Title（参考訳）: マルチタスクレコメンデーションのためのDeep Task-specific Boottom Representation Network
• Authors: Qi Liu, Zhilong Zhou, Gangwei Jiang, Tiezheng Ge, Defu Lian
• Abstract要約: 本稿では,Deep Task-specific Bottom Representation Network (DTRN)を提案する。 提案した2つのモジュールは、タスクの相互干渉を緩和するためにタスク固有のボトム表現を得る目的を達成することができる。
• 参考スコア（独自算出の注目度）: 36.128708266100645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural-based multi-task learning (MTL) has gained significant improvement, and it has been successfully applied to recommendation system (RS). Recent deep MTL methods for RS (e.g. MMoE, PLE) focus on designing soft gating-based parameter-sharing networks that implicitly learn a generalized representation for each task. However, MTL methods may suffer from performance degeneration when dealing with conflicting tasks, as negative transfer effects can occur on the task-shared bottom representation. This can result in a reduced capacity for MTL methods to capture task-specific characteristics, ultimately impeding their effectiveness and hindering the ability to generalize well on all tasks. In this paper, we focus on the bottom representation learning of MTL in RS and propose the Deep Task-specific Bottom Representation Network (DTRN) to alleviate the negative transfer problem. DTRN obtains task-specific bottom representation explicitly by making each task have its own representation learning network in the bottom representation modeling stage. Specifically, it extracts the user's interests from multiple types of behavior sequences for each task through the parameter-efficient hypernetwork. To further obtain the dedicated representation for each task, DTRN refines the representation of each feature by employing a SENet-like network for each task. The two proposed modules can achieve the purpose of getting task-specific bottom representation to relieve tasks' mutual interference. Moreover, the proposed DTRN is flexible to combine with existing MTL methods. Experiments on one public dataset and one industrial dataset demonstrate the effectiveness of the proposed DTRN.
• Abstract（参考訳）: ニューラルベースマルチタスク学習(mtl)は大幅に改善され、レコメンデーションシステム(rs)にうまく適用されている。 近年のRSの深層MTL手法(例えばMMoE, PLE)は、各タスクの一般化表現を暗黙的に学習するソフトゲーティングベースのパラメータ共有ネットワークの設計に焦点を当てている。 しかし、MTL法はタスク共有ボトム表現に負の伝達効果が生じるため、競合するタスクを扱う際に性能劣化に悩まされる可能性がある。 これにより、MTLメソッドがタスク固有の特性をキャプチャする能力が低下し、最終的にその効率性が損なわれ、全てのタスクをうまく一般化する能力が妨げられる。 本稿では,RS における MTL のボトム表現学習に着目し,負の伝達問題を緩和するためのDeep Task-specific Bottom Representation Network (DTRN) を提案する。 DTRNは、各タスクにボトム表現モデリング段階で独自の表現学習ネットワークを持たせることで、タスク固有のボトム表現を明示的に取得する。 具体的には、パラメータ効率の高いハイパーネットワークを通して、各タスクの複数の動作シーケンスからユーザの興味を抽出する。 さらに、各タスクの専用表現を得るため、dtrnは各タスクにsenetライクなネットワークを使用することで、各特徴の表現を洗練する。 提案した2つのモジュールは、タスクの相互干渉を軽減するためにタスク固有のボトム表現を得る目的を達成することができる。 さらに、提案したDTRNは既存のMTLメソッドと組み合わせて柔軟である。 1つのパブリックデータセットと1つの産業データセットの実験は、提案されたDTRNの有効性を示している。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Mitigating Task Interference in Multi-Task Learning via Explicit Task Routing with Non-Learnable Primitives [19.90788777476128]
  マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。 既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。 本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
  論文  参考訳（メタデータ） (2023-08-03T22:34:16Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks [0.0]
  マルチタスク学習(MTL)は、関連するタスクと表現を共有することにより、ニューラルネットワークの一般化性能を向上させることができる。 MTLはまた、タスク間の有害な干渉によってパフォーマンスを低下させる。 補助タスクを用いたマルチタスク学習のためのサンプルレベル重み付けアルゴリズムであるSLGradを提案する。
  論文  参考訳（メタデータ） (2023-06-07T15:29:46Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
  このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。 本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。 コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-11-28T04:24:38Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。