論文の概要: KEEP: An Industrial Pre-Training Framework for Online Recommendation via Knowledge Extraction and Plugging

• arxiv url: http://arxiv.org/abs/2208.10174v1
• Date: Mon, 22 Aug 2022 09:40:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:57:42.438534
• Title: KEEP: An Industrial Pre-Training Framework for Online Recommendation via Knowledge Extraction and Plugging
• Title（参考訳）: KEEP:知識抽出とプラギングによるオンラインレコメンデーションのための産業事前学習フレームワーク
• Authors: Yujing Zhang, Zhangming Chan, Shuhao Xu, Weijie Bian, Shuguang Han, Hongbo Deng, Bo Zheng
• Abstract要約: 本稿では,新しい産業用textbfKnowltextbfEdge textbfExtraction と textbfPlugging (textbfKEEP) フレームワークを提案する。 1)スーパードメイン上の教師付き事前学習知識抽出モジュールと,2)抽出した知識を下流モデルに組み込んだプラグインネットワークから構成される。 KEEPはAlibabaのディスプレイ広告システムに展開されており、CTRが$5.4%、RPMが$4.7%となっている。
• 参考スコア（独自算出の注目度）: 15.332056482828678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An industrial recommender system generally presents a hybrid list that contains results from multiple subsystems. In practice, each subsystem is optimized with its own feedback data to avoid the disturbance among different subsystems. However, we argue that such data usage may lead to sub-optimal online performance because of the \textit{data sparsity}. To alleviate this issue, we propose to extract knowledge from the \textit{super-domain} that contains web-scale and long-time impression data, and further assist the online recommendation task (downstream task). To this end, we propose a novel industrial \textbf{K}nowl\textbf{E}dge \textbf{E}xtraction and \textbf{P}lugging (\textbf{KEEP}) framework, which is a two-stage framework that consists of 1) a supervised pre-training knowledge extraction module on super-domain, and 2) a plug-in network that incorporates the extracted knowledge into the downstream model. This makes it friendly for incremental training of online recommendation. Moreover, we design an efficient empirical approach for KEEP and introduce our hands-on experience during the implementation of KEEP in a large-scale industrial system. Experiments conducted on two real-world datasets demonstrate that KEEP can achieve promising results. It is notable that KEEP has also been deployed on the display advertising system in Alibaba, bringing a lift of $+5.4\%$ CTR and $+4.7\%$ RPM.
• Abstract（参考訳）: 産業推薦システムは通常、複数のサブシステムの結果を含むハイブリッドリストを提示する。 実際には、各サブシステムは、異なるサブシステム間の干渉を避けるために、独自のフィードバックデータで最適化されている。 しかし、このようなデータの使用は、 \textit{data sparsity} のため、オンラインパフォーマンスを最適化する可能性がある。 この問題を軽減するために,Webスケールおよび長時間のインプレッションデータを含む‘textit{super- domain}’から知識を抽出し,さらにオンラインレコメンデーションタスク(ダウンストリームタスク)を支援することを提案する。 そこで本稿では,2段階からなる2段階フレームワークである新しい産業用 \textbf{k}nowl\textbf{e}dge \textbf{e}xtraction と \textbf{p}lugging (\textbf{keep}) フレームワークを提案する。 1)スーパードメイン上の教師付き事前学習知識抽出モジュール、 2) 抽出した知識を下流モデルに組み込むプラグインネットワーク。 これにより、オンラインレコメンデーションのインクリメンタルなトレーニングに適している。 さらに,KEEPの効率的な実証的アプローチを設計し,大規模産業システムにおけるKEEP導入時の実体験を紹介する。 2つの実世界のデータセットで実施された実験は、KEEPが有望な結果が得られることを示した。 KEEPはAlibabaのディスプレイ広告システムにも展開されており、CTRは$5.4\%、RPMは$4.7\%となっている。

関連論文リスト

• Efficient and Deployable Knowledge Infusion for Open-World Recommendations via Large Language Models [53.547190001324665]
  大規模言語モデル(LLM)からユーザとアイテムに関する2種類の外部知識を取得するためのREKIを提案する。 個別の知識抽出と個別の知識抽出を,異なるシナリオのスケールに合わせて開発し,オフラインのリソース消費を効果的に削減する。 実験によると、REKIは最先端のベースラインより優れており、多くの推奨アルゴリズムやタスクと互換性がある。
  論文  参考訳（メタデータ） (2024-08-20T03:45:24Z)
• Hierarchical Structured Neural Network for Retrieval [16.364477888946478]
  本稿では,階層的クラスタリングとニューラルネットワークモデルを共同で最適化した階層構造ニューラルネットワーク(HSNN)を提案する。 HSNNはAds Recommendationシステムにうまくデプロイされ、現在トラフィックの大部分を処理しています。 本稿では,新鮮度,ボラティリティ,コールドスタートレコメンデーション,クラスタ崩壊,大規模検索生産システムにおけるモデル展開の教訓といった課題に対処し,本システムの開発経験を公開する。
  論文  参考訳（メタデータ） (2024-08-13T05:53:46Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
  大規模テキストコーパスで事前訓練されたLarge Language Models (LLMs) は、推奨システムを強化するための有望な道を示す。 オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T04:00:30Z)
• Retrieval-Oriented Knowledge for Click-Through Rate Prediction [29.55757862617378]
  クリックスルー率(CTR)予測は、パーソナライズされたオンラインサービスにとって不可欠である。 underlineretrieval-underlineoriented underlineknowledge(bfname)フレームワークは、実際の検索プロセスをバイパスする。 nameは、検索および集約された表現を保存および模倣する知識ベースを特徴とする。
  論文  参考訳（メタデータ） (2024-04-28T20:21:03Z)
• Towards a Theoretical Understanding of Two-Stage Recommender Systems [0.5439020425819]
  プロダクショングレードのレコメンダシステムは、Netflix、Pinterest、Amazonなど、オンラインメディアサービスで使用されている大規模なコーパスに大きく依存している。 最適なレコメンデータシステムに強い収束をもたらす2段階レコメンデータの挙動について検討する。 本研究では,2段階のレコメンデータが,商品の属性や属性が評価に与える影響をカプセル化できることを数値的に示す。
  論文  参考訳（メタデータ） (2024-02-23T21:11:55Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• VFed-SSD: Towards Practical Vertical Federated Advertising [53.08038962443853]
  本稿では,2つの制限を緩和する半教師付き分割蒸留フレームワーク VFed-SSD を提案する。 具体的には,垂直分割された未ラベルデータを利用する自己教師型タスクMatchedPair Detection (MPD) を開発する。 当社のフレームワークは,デプロイコストの最小化と大幅なパフォーマンス向上を図った,リアルタイム表示広告のための効率的なフェデレーション強化ソリューションを提供する。
  論文  参考訳（メタデータ） (2022-05-31T17:45:30Z)
• Bandit Data-Driven Optimization [62.01362535014316]
  機械学習パイプラインが設定で有用になるためには、克服しなければならない大きな問題点が4つある。 これらの問題点に対処する最初の反復予測記述フレームワークであるBanditデータ駆動最適化を導入する。 本稿では,このフレームワークの新しいアルゴリズム PROOF を提案する。
  論文  参考訳（メタデータ） (2020-08-26T17:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。