論文の概要: Feature Decomposition for Reducing Negative Transfer: A Novel Multi-task Learning Method for Recommender System

• arxiv url: http://arxiv.org/abs/2302.05031v1
• Date: Fri, 10 Feb 2023 03:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 16:48:24.979051
• Title: Feature Decomposition for Reducing Negative Transfer: A Novel Multi-task Learning Method for Recommender System
• Title（参考訳）: 負の伝達を減らすための特徴分解:レコメンダシステムのための新しいマルチタスク学習法
• Authors: Jie Zhou, Qian Yu, Chuan Luo, Jing Zhang
• Abstract要約: 特徴分解ネットワーク(FDN)と呼ばれる新しいマルチタスク学習手法を提案する。 提案するFDNの鍵となる考え方は,特徴をタスク固有機能とタスク共有機能に明示的に分解することで,特徴冗長性の現象を小さくすることである。 実験結果から,提案するFDN法は最先端(SOTA)法よりも顕著なマージンで優れていることがわかった。
• 参考スコア（独自算出の注目度）: 35.165907482126464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, thanks to the rapid development of deep learning (DL), DL-based multi-task learning (MTL) has made significant progress, and it has been successfully applied to recommendation systems (RS). However, in a recommender system, the correlations among the involved tasks are complex. Therefore, the existing MTL models designed for RS suffer from negative transfer to different degrees, which will injure optimization in MTL. We find that the root cause of negative transfer is feature redundancy that features learned for different tasks interfere with each other. To alleviate the issue of negative transfer, we propose a novel multi-task learning method termed Feature Decomposition Network (FDN). The key idea of the proposed FDN is reducing the phenomenon of feature redundancy by explicitly decomposing features into task-specific features and task-shared features with carefully designed constraints. We demonstrate the effectiveness of the proposed method on two datasets, a synthetic dataset and a public datasets (i.e., Ali-CCP). Experimental results show that our proposed FDN can outperform the state-of-the-art (SOTA) methods by a noticeable margin.
• Abstract（参考訳）: 近年,ディープラーニング(DL)の急速な発展により,MTL(Multi-task Learning)は大きな進歩を遂げ,レコメンデーションシステム(RS)にも適用されている。 しかし、レコメンダシステムでは、関連するタスク間の相関は複雑である。 したがって、RS用に設計された既存のMTLモデルは、異なる次数への負の転送に悩まされ、MTLの最適化が損なわれる。 負の転送の根本原因は、異なるタスクで学習された機能が相互に干渉する機能冗長性にあることが分かりました。 ネガティブトランスファーの問題を軽減するために,FDN(Feature Decomposition Network)と呼ばれる新しいマルチタスク学習手法を提案する。 提案するFDNの鍵となる考え方は,特徴をタスク固有機能とタスク共有機能に明示的に分解することで,特徴冗長性の現象を低減することである。 本稿では,合成データセットと公開データセット(Ali-CCP)の2つのデータセットに対して提案手法の有効性を示す。 実験結果から,提案するFDNは最先端技術(SOTA)法よりも顕著なマージンで優れていることがわかった。

関連論文リスト

• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection [7.661927086611542]
  本稿では,タスク認知概念に基づく負の伝達問題を緩和するための新しいアプローチを提案する。 提案手法は,従来のMTLソリューションよりも性能が向上すると共に,負の転送を減少させる。 提案手法はSexism, Hate Speech, Toxic Languageをテキストコメントで検出するために, 2つの統一アーキテクチャで実装されている。
  論文  参考訳（メタデータ） (2023-07-07T04:10:37Z)
• Multi-Task Recommendations with Reinforcement Learning [20.587553899753903]
  マルチタスク学習(MTL)は、Recommender System(RS)アプリケーションで大きな成功を収めた。 本稿では,動的重みを用いた推薦タスクの損失を組み合わせ,強化学習(RL)強化MTLフレームワークであるRMTLを提案する。 2つの実世界の公開データセットの実験は、最先端のMTLベースのレコメンデーションモデルに対する高いAUCによるRMTLの有効性を示す。
  論文  参考訳（メタデータ） (2023-02-07T09:11:17Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。