論文の概要: Incremental Learning for Personalized Recommender Systems

• arxiv url: http://arxiv.org/abs/2108.13299v1
• Date: Fri, 13 Aug 2021 04:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-05 08:51:12.081717
• Title: Incremental Learning for Personalized Recommender Systems
• Title（参考訳）: パーソナライズドレコメンデーションシステムのためのインクリメンタル学習
• Authors: Yunbo Ouyang, Jun Shi, Haichao Wei, Huiji Gao
• Abstract要約: トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
• 参考スコア（独自算出の注目度）: 8.020546404087922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ubiquitous personalized recommender systems are built to achieve two seemingly conflicting goals, to serve high quality content tailored to individual user's taste and to adapt quickly to the ever changing environment. The former requires a complex machine learning model that is trained on a large amount of data; the latter requires frequent update to the model. We present an incremental learning solution to provide both the training efficiency and the model quality. Our solution is based on sequential Bayesian update and quadratic approximation. Our focus is on large-scale personalized logistic regression models, with extensions to deep learning models. This paper fills in the gap between the theory and the practice by addressing a few implementation challenges that arise when applying incremental learning to large personalized recommender systems. Detailed offline and online experiments demonstrated our approach can significantly shorten the training time while maintaining the model accuracy. The solution is deployed in LinkedIn and directly applicable to industrial scale recommender systems.
• Abstract（参考訳）: ユビキタスなパーソナライズドレコメンダシステムは、一見相反する2つの目標を達成するために構築され、個々のユーザの好みに合わせて高品質なコンテンツを提供し、変化し続ける環境に迅速に適応する。 前者は大量のデータに基づいてトレーニングされる複雑な機械学習モデルを必要とし、後者はモデルの頻繁な更新を必要とする。 トレーニング効率とモデル品質の両方を提供するためのインクリメンタルな学習ソリューションを提案する。 我々の解は逐次ベイズ更新と二次近似に基づいている。 私たちの焦点は、大規模パーソナライズされたロジスティック回帰モデルであり、ディープラーニングモデルの拡張にあります。 本稿では,大規模パーソナライズドレコメンダシステムへのインクリメンタル学習の適用において生じるいくつかの実装上の課題を解決することで,理論と実践のギャップを埋める。 詳細なオフラインおよびオンライン実験は、モデル精度を維持しながらトレーニング時間を著しく短縮できることを示した。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
  本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。 DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。 実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-02-05T10:16:20Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• WeiPS: a symmetric fusion model framework for large-scale online learning [6.88870384575896]
  モデルトレーニングとモデル推論を統合した、WeiPSと呼ばれる対称融合オンライン学習システムフレームワークを提案する。 具体的には、一貫性要件を満たすために、ストリーミング更新メカニズムによる第2レベルのモデルデプロイメントを実行する。 マルチレベルのフォールトトレランスとリアルタイムドミノ劣化を使用して高可用性要求を実現する。
  論文  参考訳（メタデータ） (2020-11-24T09:25:39Z)
• Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data [13.080986170257782]
  プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。 本研究では,非定常データ分散を伴う大規模レコメンデーションシステムにおいて,新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:33:14Z)
• Lambda Learner: Fast Incremental Learning on Data Streams [5.543723668681475]
  本稿では,データストリームからのミニバッチに対するインクリメンタル更新によるモデルトレーニングのための新しいフレームワークを提案する。 提案するフレームワークのモデルでは,オフラインデータに基づいてトレーニングされた周期的に更新されたモデルを推定し,モデル更新が時間に敏感な場合,性能が向上することを示す。 我々は、大規模ソーシャルネットワークのためのスポンサー付きコンテンツプラットフォームに大規模な展開を提示する。
  論文  参考訳（メタデータ） (2020-10-11T04:00:34Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。