論文の概要: MultiBalance: Multi-Objective Gradient Balancing in Industrial-Scale Multi-Task Recommendation System
- arxiv url: http://arxiv.org/abs/2411.11871v1
- Date: Sun, 03 Nov 2024 21:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-24 05:33:13.613400
- Title: MultiBalance: Multi-Objective Gradient Balancing in Industrial-Scale Multi-Task Recommendation System
- Title（参考訳）: 産業用マルチタスクレコメンデーションシステムにおける多目的グラディエントバランス
- Authors: Yun He, Xuxing Chen, Jiayi Xu, Renqin Cai, Yiling You, Jennifer Cao, Minhui Huang, Liu Yang, Yiqun Liu, Xiaoyi Liu, Rong Jin, Sem Park, Bo Long, Xue Feng,
- Abstract要約: 産業規模のマルチタスクレコメンデーションシステムにおいて,MultiBalanceと呼ばれる勾配バランス手法を提案する。
タスク毎の勾配のバランスを保ち、負の移動を軽減し、グリッド検索や手動探索の膨大なコストを節約します。
我々はMetaの大規模広告の実験を行い、マルチタスクレコメンデーションシステムを提供し、MultiBalanceが大きな利益を得るのを観察する。
- 参考スコア（独自算出の注目度）: 28.23029744894405
- License:
- Abstract: In industrial recommendation systems, multi-task learning (learning multiple tasks simultaneously on a single model) is a predominant approach to save training/serving resources and improve recommendation performance via knowledge transfer between the joint learning tasks. However, multi-task learning often suffers from negative transfer: one or several tasks are less optimized than training them separately. To carefully balance the optimization, we propose a gradient balancing approach called MultiBalance, which is suitable for industrial-scale multi-task recommendation systems. It balances the per-task gradients to alleviate the negative transfer, while saving the huge cost for grid search or manual explorations for appropriate task weights. Moreover, compared with prior work that normally balance the per-task gradients of shared parameters, MultiBalance is more efficient since only requiring to access per-task gradients with respect to the shared feature representations. We conduct experiments on Meta's large-scale ads and feeds multi-task recommendation system, and observe that MultiBalance achieves significant gains (e.g., 0.738% improvement for normalized entropy (NE)) with neutral training cost in Queries Per Second (QPS), which is significantly more efficient than prior methods that balance per-task gradients of shared parameters with 70~80% QPS degradation.
- Abstract（参考訳）: 産業レコメンデーションシステムにおいて、マルチタスク学習(複数タスクを1つのモデルで同時に学習する)は、トレーニング/サービスリソースを節約し、共同学習タスク間の知識伝達を通じてレコメンデーションパフォーマンスを向上させる主要なアプローチである。
しかし、マルチタスク学習は負の移動に悩まされることが多く、1つまたは複数のタスクは個別にトレーニングするよりも最適化されていない。
そこで本研究では,産業用マルチタスクレコメンデーションシステムに適したMultiBalanceという勾配バランス手法を提案する。
タスク毎の勾配のバランスを保ち、負の移動を軽減し、グリッド探索や手作業による探索の膨大なコストを適切なタスク重みのために節約する。
さらに、共有パラメータのタスクごとの勾配と通常バランスをとる以前の作業と比較して、MultiBalanceは、共有特徴表現に関してタスクごとの勾配にのみアクセスする必要があるため、より効率的である。
我々はMetaの大規模広告の実験を行い、マルチタスクレコメンデーションシステムを提供し、また、共有パラメータのタスクごとの勾配を70～80%のQPS劣化でバランスをとる従来の方法よりもはるかに効率的で、通常化エントロピー(NE)に対して0.738%の改善が達成されていることを観察した。
関連論文リスト
- Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。
最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。
本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-12T17:41:23Z) - Personalized Multi-task Training for Recommender System [80.23030752707916]
PMTRecは、様々な情報ソースから包括的ユーザ/イテム埋め込みを得るための、最初のパーソナライズされたマルチタスク学習アルゴリズムである。
我々の貢献は、レコメンデーションシステムにおけるパーソナライズされたマルチタスクトレーニングを促進するための新しい道を開く。
論文 参考訳（メタデータ） (2024-07-31T06:27:06Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳（メタデータ） (2023-10-13T07:31:04Z) - Mitigating Negative Transfer in Multi-Task Learning with Exponential
Moving Average Loss Weighting Strategies [0.981328290471248]
MTL(Multi-Task Learning)は、ディープラーニングへの関心が高まっている分野である。
特定のタスクがトレーニングを支配し、他のタスクのパフォーマンスを損なう可能性があるため、MTLは実用的ではない。
指数移動平均によるスケーリングに基づく損失分散手法を提案する。
論文 参考訳（メタデータ） (2022-11-22T09:22:48Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳（メタデータ） (2022-01-11T18:44:17Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z) - HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with
Auxiliary Tasks [4.095907708855597]
マルチタスク学習(MTL)は、1つ以上の関連する補助タスクと表現を共有することでタスクのパフォーマンスを向上させることができる。
通常、MTL-networksは、個別のタスク損失の一定の重み付けによる複合損失関数に基づいて訓練される。
実際には, 一定損失重みは, (i) ミニバッチに基づく最適化において, 最適タスク重みは, ミニバッチのサンプル組成に応じて, 更新から次へと大きく変化する。
メインタスクのゲインを個別のタスク勾配に結びつけるインテリジェントな重み付けアルゴリズムであるHydaLearnを導入して,その情報を伝達する。
論文 参考訳（メタデータ） (2020-08-26T16:04:02Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳（メタデータ） (2020-01-19T06:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。