論文の概要: Direct Routing Gradient (DRGrad): A Personalized Information Surgery for Multi-Task Learning (MTL) Recommendations
- arxiv url: http://arxiv.org/abs/2510.09643v1
- Date: Sat, 04 Oct 2025 01:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.510856
- Title: Direct Routing Gradient (DRGrad): A Personalized Information Surgery for Multi-Task Learning (MTL) Recommendations
- Title(参考訳): 直接ルーティンググラディエント(DRGrad):マルチタスク学習(MTL)勧告のためのパーソナライズされた情報手術
- Authors: Yuguang Liu, Yiyun Miao, Luyao Xia,
- Abstract要約: MTL(Multi-task Learning)は、産業規模のレコメンデーションシステムにおいて成功した戦略として登場した。
負の移動とシーソー現象は、実世界のレコメンデーションにおける複雑でしばしば矛盾するタスク相関のために、MLLモデルに挑戦する。
本稿では、ルータ、更新器、パーソナライズされたゲートネットワークの3つの主要コンポーネントからなる、パーソナライズされたダイレクトルーティング・グラディエント・フレームワーク(DRGrad)を提案する。
- 参考スコア(独自算出の注目度): 3.632189127068905
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-task learning (MTL) has emerged as a successful strategy in industrial-scale recommender systems, offering significant advantages such as capturing diverse users' interests and accurately detecting different behaviors like ``click" or ``dwell time". However, negative transfer and the seesaw phenomenon pose challenges to MTL models due to the complex and often contradictory task correlations in real-world recommendations. To address the problem while making better use of personalized information, we propose a personalized Direct Routing Gradient framework (DRGrad), which consists of three key components: router, updater and personalized gate network. DRGrad judges the stakes between tasks in the training process, which can leverage all valid gradients for the respective task to reduce conflicts. We evaluate the efficiency of DRGrad on complex MTL using a real-world recommendation dataset with 15 billion samples. The results show that DRGrad's superior performance over competing state-of-the-art MTL models, especially in terms of AUC (Area Under the Curve) metrics, indicating that it effectively manages task conflicts in multi-task learning environments without increasing model complexity, while also addressing the deficiencies in noise processing. Moreover, experiments on the public Census-income dataset and Synthetic dataset, have demonstrated the capability of DRGrad in judging and routing the stakes between tasks with varying degrees of correlation and personalization.
- Abstract(参考訳): マルチタスク学習(MTL)は産業規模のレコメンデーションシステムにおいて,多様なユーザの興味を捉えることや,‘click’や‘dwell time’といったさまざまな振る舞いを正確に検出することなど,重要なメリットを提供する戦略として登場した。
しかし、負の移動とシーソー現象は、実世界のレコメンデーションにおいて複雑でしばしば矛盾するタスク相関のため、MLLモデルに挑戦する。
パーソナライズされた情報をよりよく利用しながら、この問題に対処するために、ルータ、更新器、パーソナライズされたゲートネットワークという3つの重要なコンポーネントからなるパーソナライズされたダイレクトルーティング・グラディエント・フレームワーク(DRGrad)を提案する。
DRGradはトレーニングプロセスにおけるタスク間の利害関係を判断する。
複雑なMTL上でのDRGradの効率を,150億個のサンプルを用いた実世界のレコメンデーションデータセットを用いて評価した。
その結果、DRGradは競合する最先端MTLモデル、特にAUC(Area Under the Curve)メトリクスよりも優れた性能を示し、モデル複雑性を増大させることなくマルチタスク学習環境におけるタスクコンフリクトを効果的に管理し、ノイズ処理の欠陥にも対処することを示した。
さらに、公共のセンサス・インカム・データセットとシンセティック・データセットの実験では、DRGradがタスク間の利害関係を様々な相関関係とパーソナライゼーションの程度で判断し、ルーティングする能力を示した。
関連論文リスト
- MEJO: MLLM-Engaged Surgical Triplet Recognition via Inter- and Intra-Task Joint Optimization [52.149337961205624]
手術用三重項認識のためのタスク間最適化とタスク内最適化を両立する枠組みを提案する。
タスク間最適化のために、タスク共有およびタスク固有コンポーネントに表現を分解する共有特徴分散学習スキーム(S$2$D)を導入する。
タスク内最適化競合に対して,正負の曖昧さを識別・再バランスするコーディネート・グラディエント・ラーニング(CGL)戦略を開発する。
論文 参考訳(メタデータ) (2025-09-16T09:48:52Z) - Robust-Multi-Task Gradient Boosting [6.920276126310231]
マルチタスク学習(MTL)は、タスク間の共有情報を利用して一般化を改善する効果を示す。
本稿では,R-MTGB(Robust-Multi-Task Gradient Boosting)を提案する。
R-MTGBは学習プロセスを3つのブロックに構成する:(1)共有パターンの学習、(2)正規化パラメータを持つ逐次タスクを外れ値と非外れ値に分割、(3)微調整タスク固有の予測器。
論文 参考訳(メタデータ) (2025-07-15T15:31:12Z) - Pairwise Ranking Loss for Multi-Task Learning in Recommender Systems [8.824514065551865]
オンライン広告システムでは、Click-Through Rate (CTR) や Conversion Rate (CVR) といったタスクが同時に MTL 問題として扱われることが多い。
本研究では,変換に対応する露光ラベルを決定指標とみなす。
モデル予測間でのtextbfairtextbfwise textbf ranking(PWiseR)損失を計算し、タスク固有の損失を新たに導入する。
論文 参考訳(メタデータ) (2024-06-04T09:52:41Z) - InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳(メタデータ) (2024-02-26T18:59:52Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳(メタデータ) (2023-06-15T03:37:23Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳(メタデータ) (2022-03-24T17:43:12Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳(メタデータ) (2022-02-02T13:21:53Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。