論文の概要: A Parameter Update Balancing Algorithm for Multi-task Ranking Models in Recommendation Systems

• arxiv url: http://arxiv.org/abs/2410.05806v1
• Date: Tue, 8 Oct 2024 08:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:39:56.706440
• Title: A Parameter Update Balancing Algorithm for Multi-task Ranking Models in Recommendation Systems
• Title（参考訳）: 推薦システムにおけるマルチタスクランキングモデルのパラメータ更新バランシングアルゴリズム
• Authors: Jun Yuan, Guohao Cai, Zhenhua Dong,
• Abstract要約: マルチタスクランキングモデルは、現代の現実世界のレコメンデーションシステムに欠かせないものとなっている。 すべてのタスクを神経的に訓練することは、一貫性のない学習をもたらす。 PUBと呼ばれるマルチタスク最適化のための新しい更新バランシングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 19.338997746519897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task ranking models have become essential for modern real-world recommendation systems. While most recommendation researches focus on designing sophisticated models for specific scenarios, achieving performance improvement for multi-task ranking models across various scenarios still remains a significant challenge. Training all tasks naively can result in inconsistent learning, highlighting the need for the development of multi-task optimization (MTO) methods to tackle this challenge. Conventional methods assume that the optimal joint gradient on shared parameters leads to optimal parameter updates. However, the actual update on model parameters may deviates significantly from gradients when using momentum based optimizers such as Adam, and we design and execute statistical experiments to support the observation. In this paper, we propose a novel Parameter Update Balancing algorithm for multi-task optimization, denoted as PUB. In contrast to traditional MTO method which are based on gradient level tasks fusion or loss level tasks fusion, PUB is the first work to optimize multiple tasks through parameter update balancing. Comprehensive experiments on benchmark multi-task ranking datasets demonstrate that PUB consistently improves several multi-task backbones and achieves state-of-the-art performance. Additionally, experiments on benchmark computer vision datasets show the great potential of PUB in various multi-task learning scenarios. Furthermore, we deployed our method for an industrial evaluation on the real-world commercial platform, HUAWEI AppGallery, where PUB significantly enhances the online multi-task ranking model, efficiently managing the primary traffic of a crucial channel.
• Abstract（参考訳）: マルチタスクランキングモデルは、現代の現実世界のレコメンデーションシステムに欠かせないものとなっている。 ほとんどのレコメンデーション研究は特定のシナリオのための洗練されたモデルの設計に重点を置いているが、様々なシナリオにわたるマルチタスクランキングモデルのパフォーマンス改善は依然として大きな課題である。 この課題に対処するためのマルチタスク最適化(MTO)メソッドの開発の必要性を強調した。 従来の手法では、共有パラメータの最適結合勾配は最適なパラメータ更新につながると仮定している。 しかし、モデルパラメータの実際の更新は、アダムのような運動量に基づくオプティマイザを使用する場合、勾配から大きく逸脱する可能性があり、観測を支援するために統計的実験を設計・実行する。 本稿では,PUBと呼ばれるマルチタスク最適化のための新しいパラメータ更新バランシングアルゴリズムを提案する。 勾配レベルタスクの融合や損失レベルタスクの融合に基づく従来のMTO手法とは対照的に、PUBはパラメータ更新バランシングによって複数のタスクを最適化する最初の作業である。 ベンチマークマルチタスクランキングデータセットに関する総合的な実験により、PUBは複数のマルチタスクバックボーンを一貫して改善し、最先端のパフォーマンスを実現する。 さらに、コンピュータビジョンデータセットのベンチマーク実験は、様々なマルチタスク学習シナリオにおけるPUBの大きな可能性を示している。 さらに,PUBはオンラインマルチタスクランキングモデルを大幅に強化し,重要なチャネルの一次トラフィックを効率的に管理する,実世界の商用プラットフォームであるHUAWEI AppGalleryの産業評価手法を展開した。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining [8.598456741786801]
  本稿では,新しいトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。 我々のアルゴリズムは、より優れたトレードオフとチューニング効率の両面において、最先端のマルチオブジェクトよりも優れています。
  論文  参考訳（メタデータ） (2024-05-24T07:43:45Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• TempLe: Learning Template of Transitions for Sample Efficient Multi-task RL [18.242904106537654]
  TempLeはマルチタスク強化学習のための最初のPAC-MDP法である。 オンライン" と "有限モデル" の2つのアルゴリズムをそれぞれ提示する。 提案したTempLeアルゴリズムは,シングルタスク学習者や最先端のマルチタスク手法よりもはるかに低いサンプリング複雑性を実現する。
  論文  参考訳（メタデータ） (2020-02-16T19:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。